Experiment 3 - Arguments Detector

Now that we have trained our QuaNets, we will attempt to leverage their acquired knowledge by creating an ensemble. Specifically, we will use the trained models as backbones, removing their classification heads and extracting their quantification embeddings (as referred to by the authors). These embeddings, which should encapsulate the essential features learned by the models, will then be concatenated to form a unified representation.

The preprocessing for this experiment follows the exact methodology of the previous experiments, ensuring consistency in how the text is tokenized and structured before being fed into the models. Each abstract is processed through the two QuaNets, and the resulting quantification embeddings from both are combined into a single feature vector.

Once this feature extraction step is complete, a new classification head is trained. The objective of this head is to predict the number of arguments present in an abstract.

from experiment_3_code import *

C:\Users\Antonio\anaconda3\envs\NLP\Lib\site-packages\tqdm\auto.py:21: TqdmWarning: IProgress not found. Please update jupyter and ipywidgets. See https://ipywidgets.readthedocs.io/en/stable/user_install.html
  from .autonotebook import tqdm as notebook_tqdm
[nltk_data] Downloading package punkt to
[nltk_data]     C:\Users\Antonio\AppData\Roaming\nltk_data...
[nltk_data]   Package punkt is already up-to-date!
[nltk_data] Downloading package punkt_tab to
[nltk_data]     C:\Users\Antonio\AppData\Roaming\nltk_data...
[nltk_data]   Package punkt_tab is already up-to-date!

1. Preprocessing

We will condensate in two cells the preprocessing made in the previous experiments.

# EXPERIMENT 1

# Read datasets
train_set_components = read_brat_dataset_components('../data/train/neoplasm_train')
val_set_components = read_brat_dataset_components('../data/dev/neoplasm_dev')

glaucoma_test_components = read_brat_dataset_components('../data/test/glaucoma_test')
neoplasm_test_components = read_brat_dataset_components('../data/test/neoplasm_test')
mixed_test_components = read_brat_dataset_components('../data/test/mixed_test')

test_set_components = glaucoma_test_components + neoplasm_test_components + mixed_test_components

_, avg_sentences_per_file_train_components = compute_dataset_statistics_components(train_set_components, dataset_name="train")

# Create train collection
train_collection_components = FilenameLabelledCollection([data['sentence'] for data in train_set_components], 
                                                 [data['label'] for data in train_set_components], 
                                                 [data['filename'] for data in train_set_components])

val_collection_components = FilenameLabelledCollection([data['sentence'] for data in val_set_components], 
                                                 [data['label'] for data in val_set_components], 
                                                 [data['filename'] for data in val_set_components])

# Create test collections
test_collection_components = FilenameLabelledCollection([data['sentence'] for data in test_set_components], 
                                                 [data['label'] for data in test_set_components], 
                                                 [data['filename'] for data in test_set_components])

glaucoma_collection_components = FilenameLabelledCollection([data['sentence'] for data in glaucoma_test_components], 
                                                 [data['label'] for data in glaucoma_test_components], 
                                                 [data['filename'] for data in glaucoma_test_components])

neoplasm_collection_components = FilenameLabelledCollection([data['sentence'] for data in neoplasm_test_components], 
                                                 [data['label'] for data in neoplasm_test_components], 
                                                 [data['filename'] for data in neoplasm_test_components])

mixed_collection_components = FilenameLabelledCollection([data['sentence'] for data in mixed_test_components], 
                                                 [data['label'] for data in mixed_test_components], 
                                                 [data['filename'] for data in mixed_test_components])

# Create and index the dataset
indexer_components = qp.data.preprocessing.IndexTransformer(min_df=1)
abs_dataset_components = CustomDataset(training=train_collection_components, test=test_collection_components, val=val_collection_components)
index(abs_dataset_components, indexer_components, inplace=True)

# Index the test collections
index(glaucoma_collection_components, indexer_components, fit=False, inplace=True)
index(neoplasm_collection_components, indexer_components, fit=False, inplace=True)
index(mixed_collection_components, indexer_components, fit=False, inplace=True)

- Train set:
	Label 0: 2378 samples
	Label 1: 2267 samples

	There are 2 different labels in the train set -> [0, 1]
	Average number of sentences per file in train set: 13
	Max sentence length: 107
	Max sentences in a single abstract: 31
	Average components per file: 6.48
	Average non-components per file: 6.79

indexing: 100%|████████████████████████████████████████████████| 4645/4645 [00:00<00:00, 82351.80it/s]
indexing: 100%|██████████████████████████████████████████████████| 708/708 [00:00<00:00, 79287.83it/s]
indexing: 100%|████████████████████████████████████████████████| 3828/3828 [00:00<00:00, 88732.53it/s]
indexing: 100%|████████████████████████████████████████████████| 1288/1288 [00:00<00:00, 88743.55it/s]
indexing: 100%|████████████████████████████████████████████████| 1332/1332 [00:00<00:00, 82396.51it/s]
indexing: 100%|████████████████████████████████████████████████| 1208/1208 [00:00<00:00, 76848.82it/s]

<experiment_3_code.FilenameLabelledCollection at 0x194bcf5e330>

# EXPERIMENT 2

# Read datasets
train_set_relations = read_brat_dataset_relations('../data/train/neoplasm_train') 
val_set_relations = read_brat_dataset_relations('../data/dev/neoplasm_dev')

glaucoma_test_relations = read_brat_dataset_relations('../data/test/glaucoma_test')
neoplasm_test_relations = read_brat_dataset_relations('../data/test/neoplasm_test')
mixed_test_relations = read_brat_dataset_relations('../data/test/mixed_test')

test_set_relations = glaucoma_test_relations + neoplasm_test_relations + mixed_test_components

_, avg_sentences_per_file_train_relations = compute_dataset_statistics_relations(train_set_relations, dataset_name="train")

# Create train collection
train_collection_relations = FilenameLabelledCollection([data['sentence'] for data in train_set_relations], 
                                                 [data['label'] for data in train_set_relations], 
                                                 [data['filename'] for data in train_set_relations])


val_collection_relations = FilenameLabelledCollection([data['sentence'] for data in val_set_relations], 
                                                 [data['label'] for data in val_set_relations], 
                                                 [data['filename'] for data in val_set_relations])

# Create test collections
test_collection_relations = FilenameLabelledCollection([data['sentence'] for data in test_set_relations], 
                                                 [data['label'] for data in test_set_relations], 
                                                 [data['filename'] for data in test_set_relations])

glaucoma_collection_relations = FilenameLabelledCollection([data['sentence'] for data in glaucoma_test_relations], 
                                                 [data['label'] for data in glaucoma_test_relations], 
                                                 [data['filename'] for data in glaucoma_test_relations])

neoplasm_collection_relations = FilenameLabelledCollection([data['sentence'] for data in neoplasm_test_relations], 
                                                 [data['label'] for data in neoplasm_test_relations], 
                                                 [data['filename'] for data in neoplasm_test_relations])

mixed_collection_relations = FilenameLabelledCollection([data['sentence'] for data in mixed_test_relations], 
                                                 [data['label'] for data in mixed_test_relations], 
                                                 [data['filename'] for data in mixed_test_relations])

# Create and index the dataset
indexer_relations = qp.data.preprocessing.IndexTransformer(min_df=1)
abs_dataset_relations = CustomDataset(training=train_collection_relations, test=test_collection_relations, val=val_collection_relations)
index(abs_dataset_relations, indexer_relations, inplace=True)

# Index the test collections
index(glaucoma_collection_relations, indexer_relations, fit=False, inplace=True)
index(neoplasm_collection_relations, indexer_relations, fit=False, inplace=True)
index(mixed_collection_relations, indexer_relations, fit=False, inplace=True)

- Train set:
	Label 0: 3251 samples
	Label 1: 1394 samples

	There are 2 different labels in the train set -> [0, 1]
	Average number of sentences per file in train set: 13
	Max sentence length: 107
	Max sentences in a single abstract: 31
	Average relationships per file: 4.06
	Average no relationships per file: 9.29

indexing: 100%|████████████████████████████████████████████████| 4645/4645 [00:00<00:00, 86484.91it/s]
indexing: 100%|██████████████████████████████████████████████████| 708/708 [00:00<00:00, 77538.44it/s]
indexing: 100%|████████████████████████████████████████████████| 3828/3828 [00:00<00:00, 84924.79it/s]
indexing: 100%|████████████████████████████████████████████████| 1288/1288 [00:00<00:00, 83817.10it/s]
indexing: 100%|████████████████████████████████████████████████| 1332/1332 [00:00<00:00, 84412.07it/s]
indexing: 100%|████████████████████████████████████████████████| 1208/1208 [00:00<00:00, 81589.68it/s]

<experiment_3_code.FilenameLabelledCollection at 0x194bd100470>

Now it's time to create the dictionaries according to which our new head will be training: we will have one dictionary for each set we intend to use.

train_filename_to_labels = filename_to_arguments_number('../data/train/neoplasm_train') 
val_filename_to_labels = filename_to_arguments_number('../data/dev/neoplasm_dev') 
filename_to_labels = train_filename_to_labels | val_filename_to_labels

glaucoma_test_filename_to_labels = filename_to_arguments_number('../data/test/glaucoma_test')
neoplasm_test_filename_to_labels = filename_to_arguments_number('../data/test/neoplasm_test')
mixed_test_filename_to_labels = filename_to_arguments_number('../data/test/mixed_test')

test_filename_to_labels = glaucoma_test_filename_to_labels | \
                          neoplasm_test_filename_to_labels | \
                          mixed_test_filename_to_labels

Labels in ../data/train/neoplasm_train:
--------------------------------------------------
N.Args    0         1         2         3         
Count     11        274       58        7         

Labels in ../data/dev/neoplasm_dev:
--------------------------------------------------
N.Args    1         2         3         
Count     38        11        1         

Labels in ../data/test/glaucoma_test:
--------------------------------------------------
N.Args    0         1         2         3         
Count     4         61        33        2         

Labels in ../data/test/neoplasm_test:
--------------------------------------------------
N.Args    0         1         2         3         
Count     1         73        20        6         

Labels in ../data/test/mixed_test:
--------------------------------------------------
N.Args    0         1         2         3         
Count     3         74        18        5         

train_filenames, val_filenames = train_test_split(
    list(filename_to_labels.keys()), train_size=0.66, random_state=42
)

train_filename_to_labels = {filename: filename_to_labels[filename] for filename in train_filenames}
val_filename_to_labels = {filename: filename_to_labels[filename] for filename in val_filenames}

count_labels(train_filename_to_labels, 'final train set')
count_labels(val_filename_to_labels, 'final validation set')
count_labels(glaucoma_test_filename_to_labels, 'glaucoma test set')
count_labels(neoplasm_test_filename_to_labels, 'neoplasm test set')
count_labels(mixed_test_filename_to_labels, 'mixed test set')

Labels in final train set:
--------------------------------------------------
N.Args    0         1         2         3         
Count     10        209       41        4         

Labels in final validation set:
--------------------------------------------------
N.Args    0         1         2         3         
Count     1         103       28        4         

Labels in glaucoma test set:
--------------------------------------------------
N.Args    0         1         2         3         
Count     4         61        33        2         

Labels in neoplasm test set:
--------------------------------------------------
N.Args    0         1         2         3         
Count     1         73        20        6         

Labels in mixed test set:
--------------------------------------------------
N.Args    0         1         2         3         
Count     3         74        18        5         

Models

Classifiers checkpoints

Let us load the two CNN's employed by respectively the components and relations QuaNets; we do this with the same set of parameters used for training.

# Components
set_seed(42)

components_embedding_size = 180
components_hidden_size = 269   
components_lr = 0.0009964893016712443

components_cnn_module = CNNnet(
    abs_dataset_components.vocabulary_size,
    abs_dataset_components.training.n_classes,
    embedding_size=components_embedding_size,
    hidden_size=components_hidden_size
)

components_optimizer = Adam(components_cnn_module.parameters(), lr=components_lr)
components_scheduler = CosineAnnealingLR(components_optimizer, T_max=2)

components_cnn_classifier = ScheduledNeuralClassifierTrainer(
    components_cnn_module,
    lr_scheduler=components_scheduler,
    optim = components_optimizer,
    device='cpu',
    checkpointpath='../checkpoints/arguments/components/classifier_net.dat',
    padding_length=107,
    patience=10
)

components_cnn_classifier.net.load_state_dict(torch.load('../checkpoints/components/classifier_net.dat', weights_only=True))
components_cnn_classifier.classes_ = abs_dataset_components.training.classes_

[NeuralNetwork running on cpu]

# Relations
set_seed(42)

relations_embedding_size = 195
relations_hidden_size = 278   
relations_lr = 0.0005161449102180434

relations_cnn_module = CNNnet(
    abs_dataset_relations.vocabulary_size,
    abs_dataset_relations.training.n_classes,
    embedding_size=relations_embedding_size,
    hidden_size=relations_hidden_size
)

relations_optimizer = Adam(relations_cnn_module.parameters(), lr=relations_lr)
relations_scheduler = CosineAnnealingLR(relations_optimizer, T_max=11)

relations_cnn_classifier = ScheduledNeuralClassifierTrainer(
    relations_cnn_module,
    lr_scheduler=relations_scheduler,
    optim = relations_optimizer,
    device='cpu',
    checkpointpath='../checkpoints/arguments/relations/classifier_net.dat',
    padding_length=107,
    patience=10
)

relations_cnn_classifier.net.load_state_dict(torch.load('../checkpoints/relations/classifier_net.dat', weights_only=True))
relations_cnn_classifier.classes_ = abs_dataset_relations.training.classes_

[NeuralNetwork running on cpu]

Train

First of all, we compute the weights to counteract the imbalance of the dataset.

Weights are computed in two manners, the formers are used for weighting CrossEntropy, the latters to perform Weighted Random Sampling; these two techniques are not performed together, meaning that we don't weight the loss criterion if we already counteract the imbalance using the random sampling technique.

import sklearn

y = np.array([train_filename_to_labels[filename]['n'] for filename in train_filename_to_labels.keys()])

class_weights=sklearn.utils.class_weight.compute_class_weight('balanced',classes=np.unique(y),y=y)
class_weights=torch.tensor(class_weights,dtype=torch.float)
print('Computed weights:')
for label, weight in zip(sorted(np.unique(y)), class_weights):
    print(f'\t{label}: {weight}')

class_weights_2 = torch.tensor(1 / np.bincount(y), dtype=torch.float32)
print('Computed weights 2:')
for label, weight in zip(sorted(np.unique(y)), class_weights_2):
    print(f'\t{label}: {weight}')

Computed weights:
	0: 6.599999904632568
	1: 0.31578946113586426
	2: 1.6097561120986938
	3: 16.5
Computed weights 2:
	0: 0.10000000149011612
	1: 0.0047846888191998005
	2: 0.024390242993831635
	3: 0.25

The next cell performs training and is executed multiple times based on the results obtained from the Optuna studies that follow. The set of hyperparameters that produced the best results is provided as comments; feel free to reproduce the experiments.

import torch.optim as optim
from torch.optim.lr_scheduler import CosineAnnealingLR, CosineAnnealingWarmRestarts

'''
- 1st OPTUNA STUDY:
    Best trial is 74:
      Value: 0.6727080662773584
      Params: 
        n_ff_layers: 2
        ap_ff_layers0: 256
        apdrop_p: 0.3058747400043239
        c_frozen_layers_percentage: 25
        r_frozen_layers_percentage: 25
        optimizer: AdamW
        weight_decay: 9.19599933386042e-05
        beta1: 0.9209794540248918
        beta2: 0.9495871135957141
        lr: 0.0005447434007640449
        scheduler: None
        batch_size: 8
    
- 2nd OPTUNA STUDY:
    Best trial is 44:
      Value: 0.6713492063492063
      Params: 
        n_ff_layers: 2
        ap_ff_layers0: 256
        apdrop_p: 0.3416954618666868
        optimizer: Adam
        weight_decay: 1.6064190384558352e-05
        beta1: 0.9097247322939743
        beta2: 0.9231784784660426
        lr: 0.00046352674493765455
        batch_size: 8

- 3rd OPTUNA STUDY USING WEIGHTED RANDOM SAMPLING:
    Best trial is 64:
      Value: 0.6836996336996336
      Params: 
        n_ff_layers: 2
        ap_ff_layers0: 128
        apdrop_p: 0.341030630177339
        c_frozen_layers_percentage: 50
        r_frozen_layers_percentage: 100
        optimizer: AdamW
        weight_decay: 4.4896158653918235e-05
        beta1: 0.9238122541838326
        beta2: 0.9927992893673886
        lr: 0.0006771555860501967
        batch_size: 8

- 4th OPTUNA STUDY MAXIMIZING TEST F1:
    Best trial is 53:
      Value: 0.2963541666666667
      Params: 
        n_ff_layers: 2
        ap_ff_layers0: 256
        apdrop_p: 0.37067152152737814
        c_frozen_layers_percentage: 50
        r_frozen_layers_percentage: 100
        optimizer: AdamW
        weight_decay: 1.636221446547666e-05
        beta1: 0.9709243548183222
        beta2: 0.9967967271692241
        lr: 0.0005644487448830425
        batch_size: 8
        sampler: True
'''

batch_size = 8
lr = 0.0006771555860501967
cfp = 50
rfp = 100

apdrop_p = 0.341030630177339
ap_ff_layers = [128, 64]

optimizer_class = torch.optim.AdamW
optimizer_params = {
    "betas": (0.9238122541838326, 0.9927992893673886),
    "weight_decay": 4.4896158653918235e-05,
}

# Define optimizer
arguments_predictor = ArgumentsPredictorTrainer(components_cnn_classifier, 
                                                relations_cnn_classifier, 
                                                c_frozen_layers_percentage = cfp, 
                                                r_frozen_layers_percentage = rfp,
                                                patience=10,
                                                qdrop_p=0, 
                                                apdrop_p=apdrop_p,
                                                batch_size=batch_size,
                                                ap_ff_layers = ap_ff_layers,
                                                qc_lr=lr, 
                                                qr_lr=lr, 
                                                ap_lr=lr, #Best with LSTM plain architecture
                                                # criterion=torch.nn.CrossEntropyLoss(weight=class_weights,reduction='mean'),
                                                criterion=torch.nn.CrossEntropyLoss(),
                                                class_weights=class_weights_2,
                                                optimizer_class=optimizer_class,
                                                optimizer_params = optimizer_params
                                               )

status, best_results, history = arguments_predictor.fit(
    abs_dataset_components.training, 
    abs_dataset_components.val, 
    abs_dataset_relations.training, 
    abs_dataset_relations.val, 
    train_filename_to_labels,
    val_filename_to_labels,
    monitor = {'metric': 'va-f1', 'lower_is_better': False}
)

Training epoch: 100%|█████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|█████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.73it/s]

[Arguments Predictor] - Epoch: 1   | QC LR: 6.77E-04   | QR LR: 6.77E-04   | AP LR: 6.77E-04  
	@ Train Loss:         1.31584     | Val Loss:         1.37582   
	@ Train Acc:          44.32     % | Val Acc:          3.68      %
	@ Train Macro F1:     0.332       | Val Macro F1:     0.057     
	@ Train Weighted F1:  0.327       | Val Weighted F1:  0.003     

	@ Patience: 10/10 - Current best va-f1: 0.05717 (epoch: 1)

	@ Confusion matrix train:
	        0       1       2       3   
	0      47       1       0      13   
	1       7       2       0      56   
	2       6       2       0      59   
	3       2       1       0      68   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1      10       0       0      93   
	2       0       0       0      28   
	3       0       0       0       4   

Training epoch: 100%|█████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|█████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]

[Arguments Predictor] - Epoch: 2   | QC LR: 6.77E-04   | QR LR: 6.77E-04   | AP LR: 6.77E-04  
	@ Train Loss:         1.15391     | Val Loss:         1.38342   
	@ Train Acc:          55.68     % | Val Acc:          3.68      %
	@ Train Macro F1:     0.407       | Val Macro F1:     0.078     
	@ Train Weighted F1:  0.451       | Val Weighted F1:  0.004     

	@ Patience: 10/10 - Current best va-f1: 0.07754 (epoch: 2)

	@ Confusion matrix train:
	        0       1       2       3   
	0      59       0       0      10   
	1       3       4       0      43   
	2       3       4       0      54   
	3       0       0       0      84   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       6       0       0      97   
	2       0       0       0      28   
	3       0       0       0       4   

Training epoch: 100%|█████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|█████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]

[Arguments Predictor] - Epoch: 3   | QC LR: 6.77E-04   | QR LR: 6.77E-04   | AP LR: 6.77E-04  
	@ Train Loss:         1.12253     | Val Loss:         1.29778   
	@ Train Acc:          48.48     % | Val Acc:          37.50     %
	@ Train Macro F1:     0.384       | Val Macro F1:     0.213     
	@ Train Weighted F1:  0.385       | Val Weighted F1:  0.451     

	@ Patience: 10/10 - Current best va-f1: 0.21256 (epoch: 3)

	@ Confusion matrix train:
	        0       1       2       3   
	0      56       0       0       9   
	1       8       6       0      53   
	2       0       7       0      57   
	3       0       2       0      66   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1      11      46       0      46   
	2       0       7       0      21   
	3       0       0       0       4   

Training epoch: 100%|█████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|█████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.38it/s]

[Arguments Predictor] - Epoch: 4   | QC LR: 6.77E-04   | QR LR: 6.77E-04   | AP LR: 6.77E-04  
	@ Train Loss:         1.06238     | Val Loss:         1.10783   
	@ Train Acc:          50.38     % | Val Acc:          68.38     %
	@ Train Macro F1:     0.446       | Val Macro F1:     0.268     
	@ Train Weighted F1:  0.441       | Val Weighted F1:  0.624     

	@ Patience: 10/10 - Current best va-f1: 0.26786 (epoch: 4)

	@ Confusion matrix train:
	        0       1       2       3   
	0      59       3       0       2   
	1      10      47       2      18   
	2       1      43       0      24   
	3       0      28       0      27   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       6      92       0       5   
	2       0      25       0       3   
	3       0       4       0       0   

Training epoch: 100%|█████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.32it/s]
Validating: 100%|█████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.32it/s]

[Arguments Predictor] - Epoch: 5   | QC LR: 6.77E-04   | QR LR: 6.77E-04   | AP LR: 6.77E-04  
	@ Train Loss:         1.00799     | Val Loss:         1.19945   
	@ Train Acc:          57.20     % | Val Acc:          46.32     %
	@ Train Macro F1:     0.527       | Val Macro F1:     0.235     
	@ Train Weighted F1:  0.529       | Val Weighted F1:  0.513     

	@ Patience: 9 /10 - Current best va-f1: 0.26786 (epoch: 4)

	@ Confusion matrix train:
	        0       1       2       3   
	0      52       4       0       3   
	1       4      45       2      12   
	2       0      32       3      26   
	3       0      27       3      51   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1      14      58       0      31   
	2       0      12       0      16   
	3       0       0       0       4   

Training epoch: 100%|█████████████████████████████████████████████████| 33/33 [00:07<00:00,  4.71it/s]
Validating: 100%|█████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.65it/s]

[Arguments Predictor] - Epoch: 6   | QC LR: 6.77E-04   | QR LR: 6.77E-04   | AP LR: 6.77E-04  
	@ Train Loss:         0.88425     | Val Loss:         1.04412   
	@ Train Acc:          64.39     % | Val Acc:          55.15     %
	@ Train Macro F1:     0.566       | Val Macro F1:     0.284     
	@ Train Weighted F1:  0.586       | Val Weighted F1:  0.571     

	@ Patience: 10/10 - Current best va-f1: 0.28428 (epoch: 6)

	@ Confusion matrix train:
	        0       1       2       3   
	0      61       5       0       1   
	1       7      57       1      11   
	2       0      32       2      23   
	3       0      13       1      50   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       7      70       0      26   
	2       0      15       0      13   
	3       0       0       0       4   

Training epoch: 100%|█████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.77it/s]
Validating: 100%|█████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.43it/s]

[Arguments Predictor] - Epoch: 7   | QC LR: 6.77E-04   | QR LR: 6.77E-04   | AP LR: 6.77E-04  
	@ Train Loss:         0.82378     | Val Loss:         1.04373   
	@ Train Acc:          72.35     % | Val Acc:          53.68     %
	@ Train Macro F1:     0.663       | Val Macro F1:     0.294     
	@ Train Weighted F1:  0.675       | Val Weighted F1:  0.569     

	@ Patience: 10/10 - Current best va-f1: 0.29426 (epoch: 7)

	@ Confusion matrix train:
	        0       1       2       3   
	0      50       1       0       6   
	1       4      49       0       7   
	2       1      33       9      18   
	3       0       2       1      83   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       5      68       0      30   
	2       0      12       0      16   
	3       0       0       0       4   

Training epoch: 100%|█████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.25it/s]
Validating: 100%|█████████████████████████████████████████████████████| 17/17 [00:03<00:00,  4.64it/s]

[Arguments Predictor] - Epoch: 8   | QC LR: 6.77E-04   | QR LR: 6.77E-04   | AP LR: 6.77E-04  
	@ Train Loss:         0.69112     | Val Loss:         0.79885   
	@ Train Acc:          70.45     % | Val Acc:          71.32     %
	@ Train Macro F1:     0.654       | Val Macro F1:     0.517     
	@ Train Weighted F1:  0.654       | Val Weighted F1:  0.713     

	@ Patience: 10/10 - Current best va-f1: 0.51732 (epoch: 8)

	@ Confusion matrix train:
	        0       1       2       3   
	0      60       1       0       1   
	1       3      52       5       9   
	2       1      39       8      16   
	3       0       2       1      66   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       1      85      14       3   
	2       0      16      10       2   
	3       0       2       1       1   

Training epoch: 100%|█████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.29it/s]
Validating: 100%|█████████████████████████████████████████████████████| 17/17 [00:03<00:00,  4.87it/s]

[Arguments Predictor] - Epoch: 9   | QC LR: 6.77E-04   | QR LR: 6.77E-04   | AP LR: 6.77E-04  
	@ Train Loss:         0.55396     | Val Loss:         0.69796   
	@ Train Acc:          75.38     % | Val Acc:          77.21     %
	@ Train Macro F1:     0.737       | Val Macro F1:     0.489     
	@ Train Weighted F1:  0.733       | Val Weighted F1:  0.746     

	@ Patience: 9 /10 - Current best va-f1: 0.51732 (epoch: 8)

	@ Confusion matrix train:
	        0       1       2       3   
	0      62       0       0       0   
	1       0      53      12       4   
	2       0      41      19       6   
	3       0       1       1      65   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       1      94       8       0   
	2       0      18      10       0   
	3       0       3       1       0   

Training epoch: 100%|█████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.28it/s]
Validating: 100%|█████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.72it/s]

[Arguments Predictor] - Epoch: 10  | QC LR: 6.77E-04   | QR LR: 6.77E-04   | AP LR: 6.77E-04  
	@ Train Loss:         0.43832     | Val Loss:         0.67556   
	@ Train Acc:          80.68     % | Val Acc:          76.47     %
	@ Train Macro F1:     0.783       | Val Macro F1:     0.485     
	@ Train Weighted F1:  0.795       | Val Weighted F1:  0.740     

	@ Patience: 8 /10 - Current best va-f1: 0.51732 (epoch: 8)

	@ Confusion matrix train:
	        0       1       2       3   
	0      69       2       0       0   
	1       3      56      10       2   
	2       1      32      22       1   
	3       0       0       0      66   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       1      93       9       0   
	2       0      18      10       0   
	3       0       3       1       0   

Training epoch: 100%|█████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.41it/s]
Validating: 100%|█████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.61it/s]

[Arguments Predictor] - Epoch: 11  | QC LR: 6.77E-04   | QR LR: 6.77E-04   | AP LR: 6.77E-04  
	@ Train Loss:         0.39000     | Val Loss:         0.66398   
	@ Train Acc:          83.33     % | Val Acc:          78.68     %
	@ Train Macro F1:     0.817       | Val Macro F1:     0.582     
	@ Train Weighted F1:  0.829       | Val Weighted F1:  0.756     

	@ Patience: 10/10 - Current best va-f1: 0.58172 (epoch: 11)

	@ Confusion matrix train:
	        0       1       2       3   
	0      67       0       0       0   
	1       2      53      15       2   
	2       0      25      29       0   
	3       0       0       0      71   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       1      97       5       0   
	2       0      20       8       0   
	3       0       3       0       1   

Training epoch: 100%|█████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.40it/s]
Validating: 100%|█████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.03it/s]

[Arguments Predictor] - Epoch: 12  | QC LR: 6.77E-04   | QR LR: 6.77E-04   | AP LR: 6.77E-04  
	@ Train Loss:         0.43029     | Val Loss:         0.72331   
	@ Train Acc:          76.52     % | Val Acc:          70.59     %
	@ Train Macro F1:     0.756       | Val Macro F1:     0.395     
	@ Train Weighted F1:  0.754       | Val Weighted F1:  0.705     

	@ Patience: 9 /10 - Current best va-f1: 0.58172 (epoch: 11)

	@ Confusion matrix train:
	        0       1       2       3   
	0      60       0       0       0   
	1       1      49      17       2   
	2       0      41      23       1   
	3       0       0       0      70   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       4      82      17       0   
	2       0      15      13       0   
	3       0       3       1       0   

Training epoch: 100%|█████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|█████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]

[Arguments Predictor] - Epoch: 13  | QC LR: 6.77E-04   | QR LR: 6.77E-04   | AP LR: 6.77E-04  
	@ Train Loss:         0.36682     | Val Loss:         0.67314   
	@ Train Acc:          82.95     % | Val Acc:          77.21     %
	@ Train Macro F1:     0.828       | Val Macro F1:     0.587     
	@ Train Weighted F1:  0.826       | Val Weighted F1:  0.753     

	@ Patience: 10/10 - Current best va-f1: 0.58734 (epoch: 13)

	@ Confusion matrix train:
	        0       1       2       3   
	0      65       0       0       0   
	1       3      54      17       0   
	2       0      24      36       1   
	3       0       0       0      64   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       1      93       9       0   
	2       0      18      10       0   
	3       0       3       0       1   

Training epoch: 100%|█████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|█████████████████████████████████████████████████████| 17/17 [00:03<00:00,  4.95it/s]

[Arguments Predictor] - Epoch: 14  | QC LR: 6.77E-04   | QR LR: 6.77E-04   | AP LR: 6.77E-04  
	@ Train Loss:         0.33153     | Val Loss:         0.74858   
	@ Train Acc:          85.61     % | Val Acc:          71.32     %
	@ Train Macro F1:     0.849       | Val Macro F1:     0.367     
	@ Train Weighted F1:  0.854       | Val Weighted F1:  0.711     

	@ Patience: 9 /10 - Current best va-f1: 0.58734 (epoch: 13)

	@ Confusion matrix train:
	        0       1       2       3   
	0      74       2       0       0   
	1       1      63      12       0   
	2       0      23      32       0   
	3       0       0       0      57   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       6      85      12       0   
	2       1      16      11       0   
	3       0       3       1       0   

Training epoch: 100%|█████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|█████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]

[Arguments Predictor] - Epoch: 15  | QC LR: 6.77E-04   | QR LR: 6.77E-04   | AP LR: 6.77E-04  
	@ Train Loss:         0.31269     | Val Loss:         0.76815   
	@ Train Acc:          85.23     % | Val Acc:          74.26     %
	@ Train Macro F1:     0.842       | Val Macro F1:     0.394     
	@ Train Weighted F1:  0.850       | Val Weighted F1:  0.745     

	@ Patience: 8 /10 - Current best va-f1: 0.58734 (epoch: 13)

	@ Confusion matrix train:
	        0       1       2       3   
	0      68       0       0       0   
	1       1      36      23       0   
	2       0      15      51       0   
	3       0       0       0      70   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       5      86      12       0   
	2       2      12      14       0   
	3       0       3       1       0   

Training epoch: 100%|█████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|█████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.18it/s]

[Arguments Predictor] - Epoch: 16  | QC LR: 6.77E-04   | QR LR: 6.77E-04   | AP LR: 6.77E-04  
	@ Train Loss:         0.34423     | Val Loss:         0.71315   
	@ Train Acc:          82.95     % | Val Acc:          72.79     %
	@ Train Macro F1:     0.842       | Val Macro F1:     0.507     
	@ Train Weighted F1:  0.828       | Val Weighted F1:  0.733     

	@ Patience: 7 /10 - Current best va-f1: 0.58734 (epoch: 13)

	@ Confusion matrix train:
	        0       1       2       3   
	0      66       0       0       0   
	1       0      56      18       0   
	2       2      25      44       0   
	3       0       0       0      53   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       1      78      24       0   
	2       0       8      20       0   
	3       0       3       1       0   

Training epoch: 100%|█████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.38it/s]
Validating: 100%|█████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.01it/s]

[Arguments Predictor] - Epoch: 17  | QC LR: 6.77E-04   | QR LR: 6.77E-04   | AP LR: 6.77E-04  
	@ Train Loss:         0.27466     | Val Loss:         0.72143   
	@ Train Acc:          89.02     % | Val Acc:          71.32     %
	@ Train Macro F1:     0.892       | Val Macro F1:     0.573     
	@ Train Weighted F1:  0.890       | Val Weighted F1:  0.718     

	@ Patience: 6 /10 - Current best va-f1: 0.58734 (epoch: 13)

	@ Confusion matrix train:
	        0       1       2       3   
	0      70       0       0       0   
	1       0      55      14       0   
	2       0      15      51       0   
	3       0       0       0      59   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       0      79      24       0   
	2       0      11      17       0   
	3       0       3       1       0   

Training epoch: 100%|█████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.49it/s]
Validating: 100%|█████████████████████████████████████████████████████| 17/17 [00:03<00:00,  4.91it/s]

[Arguments Predictor] - Epoch: 18  | QC LR: 6.77E-04   | QR LR: 6.77E-04   | AP LR: 6.77E-04  
	@ Train Loss:         0.28393     | Val Loss:         0.86142   
	@ Train Acc:          86.74     % | Val Acc:          61.76     %
	@ Train Macro F1:     0.868       | Val Macro F1:     0.546     
	@ Train Weighted F1:  0.867       | Val Weighted F1:  0.645     

	@ Patience: 5 /10 - Current best va-f1: 0.58734 (epoch: 13)

	@ Confusion matrix train:
	        0       1       2       3   
	0      69       0       0       0   
	1       1      51      15       0   
	2       0      19      47       0   
	3       0       0       0      62   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       0      60      43       0   
	2       0       5      23       0   
	3       0       0       4       0   

Training epoch: 100%|█████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.79it/s]
Validating: 100%|█████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.86it/s]

[Arguments Predictor] - Epoch: 19  | QC LR: 6.77E-04   | QR LR: 6.77E-04   | AP LR: 6.77E-04  
	@ Train Loss:         0.24735     | Val Loss:         0.72887   
	@ Train Acc:          89.77     % | Val Acc:          79.41     %
	@ Train Macro F1:     0.901       | Val Macro F1:     0.560     
	@ Train Weighted F1:  0.898       | Val Weighted F1:  0.749     

	@ Patience: 4 /10 - Current best va-f1: 0.58734 (epoch: 13)

	@ Confusion matrix train:
	        0       1       2       3   
	0      62       0       0       0   
	1       0      60      13       0   
	2       0      13      51       0   
	3       0       0       1      64   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       0      100      3       0   
	2       0      21       7       0   
	3       0       3       1       0   

Training epoch: 100%|█████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.48it/s]
Validating: 100%|█████████████████████████████████████████████████████| 17/17 [00:03<00:00,  4.63it/s]

[Arguments Predictor] - Epoch: 20  | QC LR: 6.77E-04   | QR LR: 6.77E-04   | AP LR: 6.77E-04  
	@ Train Loss:         0.26425     | Val Loss:         0.68897   
	@ Train Acc:          87.50     % | Val Acc:          76.47     %
	@ Train Macro F1:     0.873       | Val Macro F1:     0.516     
	@ Train Weighted F1:  0.875       | Val Weighted F1:  0.760     

	@ Patience: 3 /10 - Current best va-f1: 0.58734 (epoch: 13)

	@ Confusion matrix train:
	        0       1       2       3   
	0      64       0       0       0   
	1       0      55      15       0   
	2       0      18      43       0   
	3       0       0       0      69   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       1      86      16       0   
	2       0      11      17       0   
	3       0       3       1       0   

Training epoch: 100%|█████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.23it/s]
Validating: 100%|█████████████████████████████████████████████████████| 17/17 [00:03<00:00,  4.85it/s]

[Arguments Predictor] - Epoch: 21  | QC LR: 6.77E-04   | QR LR: 6.77E-04   | AP LR: 6.77E-04  
	@ Train Loss:         0.22816     | Val Loss:         0.73379   
	@ Train Acc:          91.67     % | Val Acc:          77.21     %
	@ Train Macro F1:     0.918       | Val Macro F1:     0.524     
	@ Train Weighted F1:  0.916       | Val Weighted F1:  0.770     

	@ Patience: 2 /10 - Current best va-f1: 0.58734 (epoch: 13)

	@ Confusion matrix train:
	        0       1       2       3   
	0      70       0       0       0   
	1       1      58       8       0   
	2       0      12      55       1   
	3       0       0       0      59   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       1      85      17       0   
	2       0       9      19       0   
	3       0       2       2       0   

Training epoch: 100%|█████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.45it/s]
Validating: 100%|█████████████████████████████████████████████████████| 17/17 [00:03<00:00,  4.81it/s]

[Arguments Predictor] - Epoch: 22  | QC LR: 6.77E-04   | QR LR: 6.77E-04   | AP LR: 6.77E-04  
	@ Train Loss:         0.29271     | Val Loss:         0.71844   
	@ Train Acc:          89.02     % | Val Acc:          77.94     %
	@ Train Macro F1:     0.890       | Val Macro F1:     0.607     
	@ Train Weighted F1:  0.889       | Val Weighted F1:  0.774     

	@ Patience: 10/10 - Current best va-f1: 0.60714 (epoch: 22)

	@ Confusion matrix train:
	        0       1       2       3   
	0      57       0       0       0   
	1       2      54      14       0   
	2       0      13      50       0   
	3       0       0       0      74   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       0      87      16       0   
	2       0      10      18       0   
	3       0       3       1       0   

Training epoch: 100%|█████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.37it/s]
Validating: 100%|█████████████████████████████████████████████████████| 17/17 [00:03<00:00,  4.82it/s]

[Arguments Predictor] - Epoch: 23  | QC LR: 6.77E-04   | QR LR: 6.77E-04   | AP LR: 6.77E-04  
	@ Train Loss:         0.17748     | Val Loss:         0.74111   
	@ Train Acc:          93.56     % | Val Acc:          76.47     %
	@ Train Macro F1:     0.927       | Val Macro F1:     0.523     
	@ Train Weighted F1:  0.936       | Val Weighted F1:  0.766     

	@ Patience: 9 /10 - Current best va-f1: 0.60714 (epoch: 22)

	@ Confusion matrix train:
	        0       1       2       3   
	0      77       1       0       0   
	1       2      42       6       0   
	2       0       8      59       0   
	3       0       0       0      69   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       1      83      19       0   
	2       0       8      20       0   
	3       0       2       2       0   

Training epoch: 100%|█████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.07it/s]
Validating: 100%|█████████████████████████████████████████████████████| 17/17 [00:03<00:00,  4.81it/s]

[Arguments Predictor] - Epoch: 24  | QC LR: 6.77E-04   | QR LR: 6.77E-04   | AP LR: 6.77E-04  
	@ Train Loss:         0.21533     | Val Loss:         0.73150   
	@ Train Acc:          89.77     % | Val Acc:          72.79     %
	@ Train Macro F1:     0.889       | Val Macro F1:     0.576     
	@ Train Weighted F1:  0.897       | Val Weighted F1:  0.728     

	@ Patience: 8 /10 - Current best va-f1: 0.60714 (epoch: 22)

	@ Confusion matrix train:
	        0       1       2       3   
	0      69       0       0       0   
	1       0      39      16       0   
	2       0      11      58       0   
	3       0       0       0      71   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       0      82      21       0   
	2       0      12      16       0   
	3       0       3       1       0   

Training epoch: 100%|█████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.28it/s]
Validating: 100%|█████████████████████████████████████████████████████| 17/17 [00:03<00:00,  4.98it/s]

[Arguments Predictor] - Epoch: 25  | QC LR: 6.77E-04   | QR LR: 6.77E-04   | AP LR: 6.77E-04  
	@ Train Loss:         0.18985     | Val Loss:         0.82948   
	@ Train Acc:          92.42     % | Val Acc:          79.41     %
	@ Train Macro F1:     0.926       | Val Macro F1:     0.568     
	@ Train Weighted F1:  0.924       | Val Weighted F1:  0.754     

	@ Patience: 7 /10 - Current best va-f1: 0.60714 (epoch: 22)

	@ Confusion matrix train:
	        0       1       2       3   
	0      63       0       0       0   
	1       1      53      12       0   
	2       0       7      65       0   
	3       0       0       0      63   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       0      99       4       0   
	2       0      20       8       0   
	3       0       3       1       0   

Training epoch: 100%|█████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.26it/s]
Validating: 100%|█████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.70it/s]

[Arguments Predictor] - Epoch: 26  | QC LR: 6.77E-04   | QR LR: 6.77E-04   | AP LR: 6.77E-04  
	@ Train Loss:         0.23861     | Val Loss:         0.80828   
	@ Train Acc:          92.05     % | Val Acc:          75.00     %
	@ Train Macro F1:     0.916       | Val Macro F1:     0.595     
	@ Train Weighted F1:  0.920       | Val Weighted F1:  0.753     

	@ Patience: 6 /10 - Current best va-f1: 0.60714 (epoch: 22)

	@ Confusion matrix train:
	        0       1       2       3   
	0      72       1       0       0   
	1       1      57       7       0   
	2       0      12      48       0   
	3       0       0       0      66   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       0      82      21       0   
	2       0       9      19       0   
	3       0       2       2       0   

Training epoch: 100%|█████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.86it/s]
Validating: 100%|█████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.33it/s]

[Arguments Predictor] - Epoch: 27  | QC LR: 6.77E-04   | QR LR: 6.77E-04   | AP LR: 6.77E-04  
	@ Train Loss:         0.20802     | Val Loss:         0.76116   
	@ Train Acc:          92.42     % | Val Acc:          75.74     %
	@ Train Macro F1:     0.923       | Val Macro F1:     0.586     
	@ Train Weighted F1:  0.924       | Val Weighted F1:  0.750     

	@ Patience: 5 /10 - Current best va-f1: 0.60714 (epoch: 22)

	@ Confusion matrix train:
	        0       1       2       3   
	0      71       0       0       0   
	1       1      59      11       0   
	2       0       8      51       0   
	3       0       0       0      63   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       0      87      16       0   
	2       0      13      15       0   
	3       0       3       1       0   

Training epoch: 100%|█████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.25it/s]
Validating: 100%|█████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.83it/s]

[Arguments Predictor] - Epoch: 28  | QC LR: 6.77E-04   | QR LR: 6.77E-04   | AP LR: 6.77E-04  
	@ Train Loss:         0.19281     | Val Loss:         0.80999   
	@ Train Acc:          92.42     % | Val Acc:          78.68     %
	@ Train Macro F1:     0.921       | Val Macro F1:     0.477     
	@ Train Weighted F1:  0.924       | Val Weighted F1:  0.772     

	@ Patience: 4 /10 - Current best va-f1: 0.60714 (epoch: 22)

	@ Confusion matrix train:
	        0       1       2       3   
	0      65       0       0       0   
	1       0      43      11       0   
	2       0       9      69       0   
	3       0       0       0      67   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       2      92       9       0   
	2       0      14      14       0   
	3       0       3       1       0   

Training epoch: 100%|█████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.99it/s]
Validating: 100%|█████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.17it/s]

[Arguments Predictor] - Epoch: 29  | QC LR: 6.77E-04   | QR LR: 6.77E-04   | AP LR: 6.77E-04  
	@ Train Loss:         0.18861     | Val Loss:         0.76721   
	@ Train Acc:          93.18     % | Val Acc:          77.21     %
	@ Train Macro F1:     0.934       | Val Macro F1:     0.588     
	@ Train Weighted F1:  0.931       | Val Weighted F1:  0.761     

	@ Patience: 3 /10 - Current best va-f1: 0.60714 (epoch: 22)

	@ Confusion matrix train:
	        0       1       2       3   
	0      70       0       0       0   
	1       2      59      10       0   
	2       0       6      60       0   
	3       0       0       0      57   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       0      90      13       0   
	2       0      14      14       0   
	3       0       2       2       0   

Training epoch: 100%|█████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.50it/s]
Validating: 100%|█████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.65it/s]

[Arguments Predictor] - Epoch: 30  | QC LR: 6.77E-04   | QR LR: 6.77E-04   | AP LR: 6.77E-04  
	@ Train Loss:         0.17839     | Val Loss:         0.80832   
	@ Train Acc:          95.08     % | Val Acc:          73.53     %
	@ Train Macro F1:     0.953       | Val Macro F1:     0.684     
	@ Train Weighted F1:  0.951       | Val Weighted F1:  0.746     

	@ Patience: 10/10 - Current best va-f1: 0.68370 (epoch: 30)

	@ Confusion matrix train:
	        0       1       2       3   
	0      62       0       0       0   
	1       1      58       6       0   
	2       0       6      69       0   
	3       0       0       0      62   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       0      80      23       0   
	2       0      10      18       0   
	3       0       2       1       1   

Training epoch: 100%|█████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|█████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.76it/s]

[Arguments Predictor] - Epoch: 31  | QC LR: 6.77E-04   | QR LR: 6.77E-04   | AP LR: 6.77E-04  
	@ Train Loss:         0.16652     | Val Loss:         0.84907   
	@ Train Acc:          94.70     % | Val Acc:          74.26     %
	@ Train Macro F1:     0.946       | Val Macro F1:     0.450     
	@ Train Weighted F1:  0.947       | Val Weighted F1:  0.733     

	@ Patience: 9 /10 - Current best va-f1: 0.68370 (epoch: 30)

	@ Confusion matrix train:
	        0       1       2       3   
	0      64       0       0       0   
	1       0      61       9       0   
	2       0       4      56       1   
	3       0       0       0      69   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       2      87      14       0   
	2       0      15      13       0   
	3       0       3       1       0   

Training epoch: 100%|█████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.53it/s]
Validating: 100%|█████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]

[Arguments Predictor] - Epoch: 32  | QC LR: 6.77E-04   | QR LR: 6.77E-04   | AP LR: 6.77E-04  
	@ Train Loss:         0.11640     | Val Loss:         0.91148   
	@ Train Acc:          95.83     % | Val Acc:          69.12     %
	@ Train Macro F1:     0.952       | Val Macro F1:     0.478     
	@ Train Weighted F1:  0.958       | Val Weighted F1:  0.699     

	@ Patience: 8 /10 - Current best va-f1: 0.68370 (epoch: 30)

	@ Confusion matrix train:
	        0       1       2       3   
	0      84       0       0       0   
	1       0      50       5       0   
	2       0       6      55       0   
	3       0       0       0      64   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       1      77      25       0   
	2       0      12      16       0   
	3       0       2       2       0   

Training epoch: 100%|█████████████████████████████████████████████████| 33/33 [00:07<00:00,  4.67it/s]
Validating: 100%|█████████████████████████████████████████████████████| 17/17 [00:03<00:00,  4.80it/s]

[Arguments Predictor] - Epoch: 33  | QC LR: 6.77E-04   | QR LR: 6.77E-04   | AP LR: 6.77E-04  
	@ Train Loss:         0.11537     | Val Loss:         0.95868   
	@ Train Acc:          96.21     % | Val Acc:          75.74     %
	@ Train Macro F1:     0.963       | Val Macro F1:     0.551     
	@ Train Weighted F1:  0.962       | Val Weighted F1:  0.726     

	@ Patience: 7 /10 - Current best va-f1: 0.68370 (epoch: 30)

	@ Confusion matrix train:
	        0       1       2       3   
	0      76       0       0       0   
	1       1      61       6       0   
	2       0       3      65       0   
	3       0       0       0      52   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       0      94       9       0   
	2       0      20       8       0   
	3       0       3       1       0   

Training epoch: 100%|█████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.98it/s]
Validating: 100%|█████████████████████████████████████████████████████| 17/17 [00:03<00:00,  4.94it/s]

[Arguments Predictor] - Epoch: 34  | QC LR: 6.77E-04   | QR LR: 6.77E-04   | AP LR: 6.77E-04  
	@ Train Loss:         0.11573     | Val Loss:         0.89567   
	@ Train Acc:          95.08     % | Val Acc:          76.47     %
	@ Train Macro F1:     0.950       | Val Macro F1:     0.507     
	@ Train Weighted F1:  0.951       | Val Weighted F1:  0.757     

	@ Patience: 6 /10 - Current best va-f1: 0.68370 (epoch: 30)

	@ Confusion matrix train:
	        0       1       2       3   
	0      74       1       0       0   
	1       0      59       8       0   
	2       0       4      57       0   
	3       0       0       0      61   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       1      88      14       0   
	2       0      13      15       0   
	3       0       2       2       0   

Training epoch: 100%|█████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.68it/s]
Validating: 100%|█████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]

[Arguments Predictor] - Epoch: 35  | QC LR: 6.77E-04   | QR LR: 6.77E-04   | AP LR: 6.77E-04  
	@ Train Loss:         0.08852     | Val Loss:         1.10728   
	@ Train Acc:          97.73     % | Val Acc:          78.68     %
	@ Train Macro F1:     0.976       | Val Macro F1:     0.548     
	@ Train Weighted F1:  0.977       | Val Weighted F1:  0.737     

	@ Patience: 5 /10 - Current best va-f1: 0.68370 (epoch: 30)

	@ Confusion matrix train:
	        0       1       2       3   
	0      74       0       0       0   
	1       1      53       3       0   
	2       0       2      68       0   
	3       0       0       0      63   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       0      100      3       0   
	2       0      22       6       0   
	3       0       3       1       0   

Training epoch: 100%|█████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|█████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]

[Arguments Predictor] - Epoch: 36  | QC LR: 6.77E-04   | QR LR: 6.77E-04   | AP LR: 6.77E-04  
	@ Train Loss:         0.12373     | Val Loss:         1.06115   
	@ Train Acc:          97.35     % | Val Acc:          74.26     %
	@ Train Macro F1:     0.974       | Val Macro F1:     0.456     
	@ Train Weighted F1:  0.973       | Val Weighted F1:  0.709     

	@ Patience: 4 /10 - Current best va-f1: 0.68370 (epoch: 30)

	@ Confusion matrix train:
	        0       1       2       3   
	0      75       0       0       0   
	1       0      56       5       0   
	2       0       2      72       0   
	3       0       0       0      54   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       1      93       9       0   
	2       0      21       7       0   
	3       0       3       1       0   

Training epoch: 100%|█████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.41it/s]
Validating: 100%|█████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]

[Arguments Predictor] - Epoch: 37  | QC LR: 6.77E-04   | QR LR: 6.77E-04   | AP LR: 6.77E-04  
	@ Train Loss:         0.09550     | Val Loss:         1.06103   
	@ Train Acc:          96.59     % | Val Acc:          77.21     %
	@ Train Macro F1:     0.965       | Val Macro F1:     0.449     
	@ Train Weighted F1:  0.966       | Val Weighted F1:  0.746     

	@ Patience: 3 /10 - Current best va-f1: 0.68370 (epoch: 30)

	@ Confusion matrix train:
	        0       1       2       3   
	0      70       0       0       0   
	1       0      54       6       0   
	2       0       3      67       0   
	3       0       0       0      64   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       2      94       7       0   
	2       0      18      10       0   
	3       0       3       1       0   

Training epoch: 100%|█████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.53it/s]
Validating: 100%|█████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]

[Arguments Predictor] - Epoch: 38  | QC LR: 6.77E-04   | QR LR: 6.77E-04   | AP LR: 6.77E-04  
	@ Train Loss:         0.07500     | Val Loss:         1.07115   
	@ Train Acc:          98.48     % | Val Acc:          73.53     %
	@ Train Macro F1:     0.985       | Val Macro F1:     0.466     
	@ Train Weighted F1:  0.985       | Val Weighted F1:  0.713     

	@ Patience: 2 /10 - Current best va-f1: 0.68370 (epoch: 30)

	@ Confusion matrix train:
	        0       1       2       3   
	0      67       0       0       0   
	1       1      68       3       0   
	2       0       0      64       0   
	3       0       0       0      61   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       1      90      12       0   
	2       0      19       9       0   
	3       0       3       1       0   

Training epoch: 100%|█████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.67it/s]
Validating: 100%|█████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.52it/s]

[Arguments Predictor] - Epoch: 39  | QC LR: 6.77E-04   | QR LR: 6.77E-04   | AP LR: 6.77E-04  
	@ Train Loss:         0.04077     | Val Loss:         1.06219   
	@ Train Acc:          99.24     % | Val Acc:          74.26     %
	@ Train Macro F1:     0.992       | Val Macro F1:     0.493     
	@ Train Weighted F1:  0.992       | Val Weighted F1:  0.736     

	@ Patience: 1 /10 - Current best va-f1: 0.68370 (epoch: 30)

	@ Confusion matrix train:
	        0       1       2       3   
	0      71       0       0       0   
	1       0      63       2       0   
	2       0       0      60       0   
	3       0       0       0      68   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       1      86      16       0   
	2       0      14      14       0   
	3       0       2       2       0   

Training epoch: 100%|█████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|█████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.71it/s]

[Arguments Predictor] - Epoch: 40  | QC LR: 6.77E-04   | QR LR: 6.77E-04   | AP LR: 6.77E-04  
	@ Train Loss:         0.05170     | Val Loss:         1.35484   
	@ Train Acc:          99.24     % | Val Acc:          73.53     %
	@ Train Macro F1:     0.993       | Val Macro F1:     0.437     
	@ Train Weighted F1:  0.992       | Val Weighted F1:  0.692     

	@ Patience: 0 /10 - Current best va-f1: 0.68370 (epoch: 30)

	@ Confusion matrix train:
	        0       1       2       3   
	0      65       0       0       0   
	1       0      61       2       0   
	2       0       0      81       0   
	3       0       0       0      55   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       1      94       8       0   
	2       0      23       5       0   
	3       0       3       1       0   
training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/ArgumentsPredictor-02-12-2024_16-13.pth for epoch 30 with best va-f1: 0.6836996336996336

plot_training_history(history)

plot_training_history_per_class(history, 4)

print('Test results:')
results_glaucoma = arguments_predictor.evaluate(glaucoma_collection_components, glaucoma_collection_relations, glaucoma_test_filename_to_labels)
results_neoplasm = arguments_predictor.evaluate(neoplasm_collection_components, neoplasm_collection_relations, neoplasm_test_filename_to_labels)
results_mixed = arguments_predictor.evaluate(mixed_collection_components, mixed_collection_relations, mixed_test_filename_to_labels)

Test results:

Validating: 100%|█████████████████████████████████████████████████████| 12/12 [00:02<00:00,  5.74it/s]

[Arguments Predictor] Test-set	@ Loss:         1.96052   
	@ Acc:          59.38     %
	@ Macro F1:     0.280     
	@ Weighted F1:  0.575     


	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      44      16       0   
	2       0      19      13       0   
	3       0       1       0       0   

Validating: 100%|█████████████████████████████████████████████████████| 12/12 [00:01<00:00,  6.18it/s]

[Arguments Predictor] Test-set	@ Loss:         1.88885   
	@ Acc:          47.92     %
	@ Macro F1:     0.197     
	@ Weighted F1:  0.498     


	@ Confusion matrix:
	        0       1       2       3   
	0       0       1       0       0   
	1       1      42      27       0   
	2       0      16       4       0   
	3       0       2       3       0   

Validating: 100%|█████████████████████████████████████████████████████| 12/12 [00:01<00:00,  6.06it/s]

[Arguments Predictor] Test-set	@ Loss:         1.83989   
	@ Acc:          62.50     %
	@ Macro F1:     0.268     
	@ Weighted F1:  0.625     


	@ Confusion matrix:
	        0       1       2       3   
	0       0       2       1       0   
	1       0      53      18       0   
	2       0      10       7       0   
	3       0       1       4       0   

Optuna Studies

# First study 

study = optuna.create_study(direction="maximize")  
study.optimize(
    lambda trial: objective(trial, 
                            components_cnn_classifier, 
                            relations_cnn_classifier, 
                            abs_dataset_components, 
                            abs_dataset_relations, 
                            train_filename_to_labels,
                            val_filename_to_labels,
                            class_weights),
    n_trials=100
)

[I 2024-11-24 11:18:43,218] A new study created in memory with name: no-name-d934b02d-4878-4161-a852-8558ae9ce5e6
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.85it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.85it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.80it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.79it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.83it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.85it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.81it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.83it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.68it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.54it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.68it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.83it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.81it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.81it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.72it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.85it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.67it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.74it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.78it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.82it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.84it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.78it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.77it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.86it/s]
[I 2024-11-24 11:22:25,280] Trial 0 finished with value: 0.38063063063063063 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 25, 'optimizer': 'AdamW', 'weight_decay': 3.5061717640992484e-05, 'beta1': 0.9184899943460774, 'beta2': 0.9682901496258055, 'lr': 0.00017237280008090315, 'scheduler': 'CosineAnnealingWarmRestarts', 'T_0': 15, 'T_mult': 1, 'batch_size': 16, 'apdrop_p': 0.14383493718040274}. Best is trial 0 with value: 0.38063063063063063.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_0/ArgumentsPredictor-24-11-2024_11-18.pth for epoch 3 with best va-f1: 0.38063063063063063

Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  3.02it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.86it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.86it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:12<00:00,  1.33it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.59it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.58it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.52it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.74it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.81it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.01it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.18it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.21it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.90it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.86it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.81it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.10it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.21it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.47it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.06it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.41it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.28it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.36it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.47it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.87it/s]
[I 2024-11-24 11:27:00,634] Trial 1 finished with value: 0.46524663677130046 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 512, 'c_frozen_layers_percentage': 100, 'r_frozen_layers_percentage': 50, 'optimizer': 'Adam', 'weight_decay': 0.0007146817120478777, 'beta1': 0.888968758298053, 'beta2': 0.9186017439459171, 'lr': 0.00011395209509384938, 'scheduler': 'CosineAnnealing', 'T_max': 33, 'batch_size': 16, 'apdrop_p': 0.14857865644875912}. Best is trial 1 with value: 0.46524663677130046.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_1/ArgumentsPredictor-24-11-2024_11-22.pth for epoch 3 with best va-f1: 0.46524663677130046

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:07<00:00,  4.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:07<00:00,  4.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  4.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:07<00:00,  4.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  4.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:07<00:00,  4.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:07<00:00,  4.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.53it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  4.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:07<00:00,  4.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  4.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:07<00:00,  4.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.54it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.54it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:07<00:00,  4.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.53it/s]
[I 2024-11-24 11:33:33,906] Trial 2 finished with value: 0.5761385199240987 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 1024, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 0, 'optimizer': 'AdamW', 'weight_decay': 0.004248768174793366, 'beta1': 0.8922661610117151, 'beta2': 0.9128223586313702, 'lr': 0.00040825384760201865, 'scheduler': None, 'batch_size': 8, 'apdrop_p': 0.4212847552503297}. Best is trial 2 with value: 0.5761385199240987.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_2/ArgumentsPredictor-24-11-2024_11-27.pth for epoch 16 with best va-f1: 0.5761385199240987

Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.86it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.72it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.63it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.63it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.77it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.58it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.66it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.18it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.29it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.36it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.36it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.30it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.64it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.64it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.41it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.52it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.60it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.63it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.68it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.65it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.72it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.63it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.84it/s]
[I 2024-11-24 11:37:26,932] Trial 3 finished with value: 0.527831715210356 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 512, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 0, 'optimizer': 'Adam', 'weight_decay': 0.00029889152781350733, 'beta1': 0.8449718262975572, 'beta2': 0.9742643069650938, 'lr': 0.00017685175748429296, 'scheduler': None, 'batch_size': 16, 'apdrop_p': 0.0482362326315417}. Best is trial 2 with value: 0.5761385199240987.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_3/ArgumentsPredictor-24-11-2024_11-33.pth for epoch 2 with best va-f1: 0.527831715210356

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.40it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.40it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:07<00:00,  4.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  4.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:07<00:00,  4.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  4.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:07<00:00,  4.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  4.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:07<00:00,  4.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  4.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:07<00:00,  4.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.54it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:07<00:00,  4.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:07<00:00,  4.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.47it/s]
[I 2024-11-24 11:43:46,237] Trial 4 finished with value: 0.5673905835543767 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 512, 'c_frozen_layers_percentage': 100, 'r_frozen_layers_percentage': 50, 'optimizer': 'SGD', 'weight_decay': 0.0019381914020994817, 'momentum': 0.8497789102021075, 'lr': 0.0005114393235940396, 'scheduler': 'CosineAnnealingWarmRestarts', 'T_0': 10, 'T_mult': 2, 'batch_size': 8, 'apdrop_p': 0.10829878387832581}. Best is trial 2 with value: 0.5761385199240987.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_4/ArgumentsPredictor-24-11-2024_11-37.pth for epoch 16 with best va-f1: 0.5673905835543767

Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.83it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.63it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.66it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.71it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.60it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.64it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.69it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.74it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.60it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.60it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.65it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.64it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.71it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.75it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.73it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.69it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.50it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.50it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.71it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.64it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.69it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.71it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.70it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.72it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.66it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.66it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.65it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.74it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.71it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.67it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.40it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.70it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.71it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.72it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.74it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.45it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.45it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.54it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.61it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.68it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.16it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.47it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.58it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.70it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.67it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.62it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.69it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.60it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.63it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.70it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.54it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.66it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.67it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.70it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.73it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.27it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.50it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.91it/s]
[I 2024-11-24 11:52:44,918] Trial 5 finished with value: 0.5795986622073579 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 0, 'optimizer': 'Adam', 'weight_decay': 1.1888086350161117e-05, 'beta1': 0.9616892900184849, 'beta2': 0.9922460704041179, 'lr': 0.0004699931843430661, 'scheduler': None, 'batch_size': 16, 'apdrop_p': 0.24516308866171288}. Best is trial 5 with value: 0.5795986622073579.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_5/ArgumentsPredictor-24-11-2024_11-43.pth for epoch 37 with best va-f1: 0.5795986622073579

Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.86it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.82it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.86it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.93it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.86it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.71it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.84it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.88it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.88it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.82it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.72it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.84it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.87it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.86it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.89it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.69it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.51it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.71it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.87it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.93it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.85it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.80it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.84it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.84it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.83it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.74it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.49it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.80it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.93it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.85it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.91it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.43it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.54it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.49it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.47it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.51it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.57it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.60it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.76it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.89it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.87it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.64it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.79it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.87it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.90it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.88it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.59it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.78it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.81it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.87it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.79it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.89it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.62it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.86it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.73it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.82it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.77it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.63it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.70it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.92it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.83it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.87it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.82it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.86it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.85it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.84it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.85it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.74it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.76it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.79it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.85it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.81it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.77it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.37it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.60it/s]
[I 2024-11-24 12:03:55,397] Trial 6 finished with value: 0.5659420289855073 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 128, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'SGD', 'weight_decay': 1.2570282356913063e-05, 'momentum': 0.538533411286657, 'lr': 0.0005381840036199681, 'scheduler': 'CosineAnnealingWarmRestarts', 'T_0': 20, 'T_mult': 2, 'batch_size': 16, 'apdrop_p': 0.16879021911098496}. Best is trial 5 with value: 0.5795986622073579.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_6/ArgumentsPredictor-24-11-2024_11-52.pth for epoch 54 with best va-f1: 0.5659420289855073

Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.35it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.52it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.72it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.71it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.69it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.43it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.67it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.75it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.71it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.68it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.40it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.60it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.65it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.69it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.71it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.62it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.69it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.50it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.47it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.70it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.30it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.33it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.39it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.38it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.35it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.61it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.83it/s]
[I 2024-11-24 12:08:26,483] Trial 7 finished with value: 0.5473657548125633 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 0, 'optimizer': 'Adam', 'weight_decay': 0.002381458300764358, 'beta1': 0.9800106501717871, 'beta2': 0.9923047855846013, 'lr': 0.0008392939556020663, 'scheduler': 'CosineAnnealing', 'T_max': 27, 'batch_size': 16, 'apdrop_p': 0.1420073580158268}. Best is trial 5 with value: 0.5795986622073579.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_7/ArgumentsPredictor-24-11-2024_12-03.pth for epoch 6 with best va-f1: 0.5473657548125633

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:07<00:00,  4.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:07<00:00,  4.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:07<00:00,  4.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:07<00:00,  4.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  4.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:07<00:00,  4.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.53it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:07<00:00,  4.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.49it/s]
[I 2024-11-24 12:13:23,809] Trial 8 finished with value: 0.5616399082568807 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 1024, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 50, 'optimizer': 'Adam', 'weight_decay': 0.00022842799201590124, 'beta1': 0.9153190638033887, 'beta2': 0.9286034428583603, 'lr': 0.000228385373223818, 'scheduler': None, 'batch_size': 8, 'apdrop_p': 0.34685428551731673}. Best is trial 5 with value: 0.5795986622073579.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_8/ArgumentsPredictor-24-11-2024_12-08.pth for epoch 7 with best va-f1: 0.5616399082568807

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.53it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.35it/s]
[I 2024-11-24 12:19:31,954] Trial 9 finished with value: 0.46638655462184875 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 128, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'SGD', 'weight_decay': 0.00013923297152870854, 'momentum': 0.6813256959407675, 'lr': 0.00015312663033437775, 'scheduler': 'CosineAnnealing', 'T_max': 17, 'batch_size': 8, 'apdrop_p': 0.1870352783716847}. Best is trial 5 with value: 0.5795986622073579.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_9/ArgumentsPredictor-24-11-2024_12-13.pth for epoch 16 with best va-f1: 0.46638655462184875

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  8.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.54it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  8.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  8.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  8.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.40it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.21it/s]
[I 2024-11-24 12:28:34,439] Trial 10 finished with value: 0.5868747416287722 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 25, 'optimizer': 'Adam', 'weight_decay': 4.856774003803211e-05, 'beta1': 0.9840032623206064, 'beta2': 0.9983602656742812, 'lr': 0.0008789709788099433, 'scheduler': None, 'batch_size': 4, 'apdrop_p': 0.2875891405947247}. Best is trial 10 with value: 0.5868747416287722.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_10/ArgumentsPredictor-24-11-2024_12-19.pth for epoch 29 with best va-f1: 0.5868747416287722

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.31it/s]
[I 2024-11-24 12:35:23,962] Trial 11 finished with value: 0.5749532710280374 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 25, 'optimizer': 'Adam', 'weight_decay': 3.8973306288484526e-05, 'beta1': 0.9881177643475038, 'beta2': 0.9987216374495641, 'lr': 0.0009866999081957488, 'scheduler': None, 'batch_size': 4, 'apdrop_p': 0.2896038103869166}. Best is trial 10 with value: 0.5868747416287722.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_11/ArgumentsPredictor-24-11-2024_12-28.pth for epoch 17 with best va-f1: 0.5749532710280374

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  8.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  8.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  8.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  8.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:10<00:00,  6.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  8.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  8.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:10<00:00,  6.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.16it/s]
[I 2024-11-24 12:43:12,235] Trial 12 finished with value: 0.6340904286242799 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 25, 'optimizer': 'Adam', 'weight_decay': 1.1039871642704893e-05, 'beta1': 0.9550993955999743, 'beta2': 0.9875569212869815, 'lr': 0.0006730355136891215, 'scheduler': None, 'batch_size': 4, 'apdrop_p': 0.2701742207006549}. Best is trial 12 with value: 0.6340904286242799.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_12/ArgumentsPredictor-24-11-2024_12-35.pth for epoch 16 with best va-f1: 0.6340904286242799

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:10<00:00,  6.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  8.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:10<00:00,  6.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  8.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  8.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  8.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  8.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  8.53it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  8.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  8.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  8.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  8.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  8.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:10<00:00,  6.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:10<00:00,  6.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  6.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:10<00:00,  6.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.34it/s]
[I 2024-11-24 12:54:58,744] Trial 13 finished with value: 0.5607936507936508 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 25, 'optimizer': 'Adam', 'weight_decay': 5.5238865490607624e-05, 'beta1': 0.9495148649584658, 'beta2': 0.9821504332814915, 'lr': 0.0006937543856194886, 'scheduler': None, 'batch_size': 4, 'apdrop_p': 0.4993997373680449}. Best is trial 12 with value: 0.6340904286242799.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_13/ArgumentsPredictor-24-11-2024_12-43.pth for epoch 34 with best va-f1: 0.5607936507936508

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  8.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  8.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  8.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  8.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  8.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  8.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  8.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.53it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:10<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  8.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  8.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  8.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:10<00:00,  6.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:10<00:00,  6.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  8.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  8.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.57it/s]
[I 2024-11-24 13:04:18,625] Trial 14 finished with value: 0.5807291666666666 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 25, 'optimizer': 'Adam', 'weight_decay': 8.04828317750205e-05, 'beta1': 0.9404435630036577, 'beta2': 0.9827199555298852, 'lr': 0.00032351849364600115, 'scheduler': None, 'batch_size': 4, 'apdrop_p': 0.3323233307909219}. Best is trial 12 with value: 0.6340904286242799.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_14/ArgumentsPredictor-24-11-2024_12-54.pth for epoch 23 with best va-f1: 0.5807291666666666

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  8.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  8.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  8.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  8.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  6.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:11<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:05<00:00,  6.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  8.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  8.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  8.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  8.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  8.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  8.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  8.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  8.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  8.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  8.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  8.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  8.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  8.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.58it/s]
[I 2024-11-24 13:16:00,492] Trial 15 finished with value: 0.5940188281123194 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 25, 'optimizer': 'AdamW', 'weight_decay': 2.2345046919343533e-05, 'beta1': 0.8004731342366702, 'beta2': 0.828759919944103, 'lr': 0.0006930245980395396, 'scheduler': None, 'batch_size': 4, 'apdrop_p': 0.24564050956427996}. Best is trial 12 with value: 0.6340904286242799.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_15/ArgumentsPredictor-24-11-2024_13-04.pth for epoch 35 with best va-f1: 0.5940188281123194

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  8.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:10<00:00,  6.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  8.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  8.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.82it/s]
[I 2024-11-24 13:23:59,972] Trial 16 finished with value: 0.573299265410412 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 25, 'optimizer': 'AdamW', 'weight_decay': 1.9073985632620952e-05, 'beta1': 0.8049114801511758, 'beta2': 0.8180682504515222, 'lr': 0.0006866792810714852, 'scheduler': None, 'batch_size': 4, 'apdrop_p': 0.22499929552352485}. Best is trial 12 with value: 0.6340904286242799.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_16/ArgumentsPredictor-24-11-2024_13-16.pth for epoch 17 with best va-f1: 0.573299265410412

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:10<00:00,  6.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  6.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  8.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  8.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  8.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  8.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  8.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.62it/s]
[I 2024-11-24 13:32:52,522] Trial 17 finished with value: 0.5813637815394442 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 25, 'optimizer': 'AdamW', 'weight_decay': 2.2642502852104046e-05, 'beta1': 0.860233909827768, 'beta2': 0.8799564919104202, 'lr': 0.0003464509103261587, 'scheduler': None, 'batch_size': 4, 'apdrop_p': 0.3843085408816267}. Best is trial 12 with value: 0.6340904286242799.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_17/ArgumentsPredictor-24-11-2024_13-24.pth for epoch 22 with best va-f1: 0.5813637815394442

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  8.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  8.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  8.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  8.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.54it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  8.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  8.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  8.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  8.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  8.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  8.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  8.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  8.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.00it/s]
[I 2024-11-24 13:40:23,700] Trial 18 finished with value: 0.5631836499712147 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 1024, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 25, 'optimizer': 'AdamW', 'weight_decay': 0.0006579616918685411, 'beta1': 0.8091532937078455, 'beta2': 0.8155425487867081, 'lr': 0.0006409983372601298, 'scheduler': 'CosineAnnealing', 'T_max': 47, 'batch_size': 4, 'apdrop_p': 0.05180084245338279}. Best is trial 12 with value: 0.6340904286242799.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_18/ArgumentsPredictor-24-11-2024_13-32.pth for epoch 15 with best va-f1: 0.5631836499712147

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  8.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  8.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  8.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  8.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  8.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.06it/s]
[I 2024-11-24 13:48:38,104] Trial 19 finished with value: 0.5837628865979382 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 1.0083056053712675e-05, 'beta1': 0.8452736019089359, 'beta2': 0.8600829340144038, 'lr': 0.0002309358789592633, 'scheduler': 'CosineAnnealingWarmRestarts', 'T_0': 5, 'T_mult': 3, 'batch_size': 4, 'apdrop_p': 0.2182518529430888}. Best is trial 12 with value: 0.6340904286242799.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_19/ArgumentsPredictor-24-11-2024_13-40.pth for epoch 25 with best va-f1: 0.5837628865979382

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  8.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.76it/s]
[I 2024-11-24 13:54:18,268] Trial 20 finished with value: 0.551491732566499 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 100, 'r_frozen_layers_percentage': 25, 'optimizer': 'AdamW', 'weight_decay': 0.00979463381922511, 'beta1': 0.872735547815205, 'beta2': 0.9515608825226685, 'lr': 0.0002586005068093133, 'scheduler': None, 'batch_size': 4, 'apdrop_p': 0.2872819376340844}. Best is trial 12 with value: 0.6340904286242799.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_20/ArgumentsPredictor-24-11-2024_13-48.pth for epoch 10 with best va-f1: 0.551491732566499

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  8.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  8.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  8.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.40it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  8.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  8.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.49it/s]
[I 2024-11-24 14:07:35,135] Trial 21 finished with value: 0.5901913875598086 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 25, 'optimizer': 'Adam', 'weight_decay': 8.975388899306356e-05, 'beta1': 0.9669261098865799, 'beta2': 0.9986001742032765, 'lr': 0.0009924990281150567, 'scheduler': None, 'batch_size': 4, 'apdrop_p': 0.2815435814301969}. Best is trial 12 with value: 0.6340904286242799.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_21/ArgumentsPredictor-24-11-2024_13-54.pth for epoch 47 with best va-f1: 0.5901913875598086

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  8.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  8.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.40it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.40it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.40it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.53it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.40it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.54it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.47it/s]
[I 2024-11-24 14:16:21,404] Trial 22 finished with value: 0.6324230950241733 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 25, 'optimizer': 'Adam', 'weight_decay': 9.865147238817658e-05, 'beta1': 0.9255429874909366, 'beta2': 0.956318356523594, 'lr': 0.0007211165308163934, 'scheduler': None, 'batch_size': 4, 'apdrop_p': 0.3234530217351313}. Best is trial 12 with value: 0.6340904286242799.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_22/ArgumentsPredictor-24-11-2024_14-07.pth for epoch 23 with best va-f1: 0.6324230950241733

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.40it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  8.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  8.53it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  8.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  8.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.40it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.51it/s]
[I 2024-11-24 14:23:55,983] Trial 23 finished with value: 0.573607427055703 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 25, 'optimizer': 'SGD', 'weight_decay': 2.003494676308423e-05, 'momentum': 0.8298122534846761, 'lr': 0.0006036602190242203, 'scheduler': None, 'batch_size': 4, 'apdrop_p': 0.35096180210727745}. Best is trial 12 with value: 0.6340904286242799.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_23/ArgumentsPredictor-24-11-2024_14-16.pth for epoch 17 with best va-f1: 0.573607427055703

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.53it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.64it/s]
[I 2024-11-24 14:31:10,396] Trial 24 finished with value: 0.5564342199856218 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 25, 'optimizer': 'Adam', 'weight_decay': 0.0001309019483372331, 'beta1': 0.9221595972117276, 'beta2': 0.9536627134996662, 'lr': 0.0007527200547455263, 'scheduler': None, 'batch_size': 4, 'apdrop_p': 0.43324593242997583}. Best is trial 12 with value: 0.6340904286242799.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_24/ArgumentsPredictor-24-11-2024_14-23.pth for epoch 22 with best va-f1: 0.5564342199856218

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.54it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.53it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.62it/s]
[I 2024-11-24 14:38:06,622] Trial 25 finished with value: 0.6308079056865464 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 25, 'optimizer': 'AdamW', 'weight_decay': 2.7275001862559866e-05, 'beta1': 0.9304726684929364, 'beta2': 0.9594714778106012, 'lr': 0.00037304255684081843, 'scheduler': None, 'batch_size': 4, 'apdrop_p': 0.32518594407776324}. Best is trial 12 with value: 0.6340904286242799.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_25/ArgumentsPredictor-24-11-2024_14-31.pth for epoch 21 with best va-f1: 0.6308079056865464

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.86it/s]
[I 2024-11-24 14:43:00,073] Trial 26 finished with value: 0.5843570843570843 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 1024, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 25, 'optimizer': 'Adam', 'weight_decay': 2.876061323346369e-05, 'beta1': 0.9351831855058168, 'beta2': 0.9596706794465185, 'lr': 0.0003973673795544707, 'scheduler': None, 'batch_size': 4, 'apdrop_p': 0.38693104902941294}. Best is trial 12 with value: 0.6340904286242799.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_26/ArgumentsPredictor-24-11-2024_14-38.pth for epoch 7 with best va-f1: 0.5843570843570843

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.54it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.54it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.53it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.51it/s]
[I 2024-11-24 14:48:20,134] Trial 27 finished with value: 0.5704830120753018 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 512, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 100, 'optimizer': 'Adam', 'weight_decay': 7.578206692082497e-05, 'beta1': 0.9064800992135869, 'beta2': 0.9416027683489308, 'lr': 0.000448046916456613, 'scheduler': None, 'batch_size': 4, 'apdrop_p': 0.31689627979659096}. Best is trial 12 with value: 0.6340904286242799.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_27/ArgumentsPredictor-24-11-2024_14-43.pth for epoch 12 with best va-f1: 0.5704830120753018

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.50it/s]
[I 2024-11-24 14:53:27,129] Trial 28 finished with value: 0.46638655462184875 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 50, 'optimizer': 'SGD', 'weight_decay': 0.0005657249650102168, 'momentum': 0.5042900092326666, 'lr': 0.0002806783951541532, 'scheduler': 'CosineAnnealing', 'T_max': 10, 'batch_size': 4, 'apdrop_p': 0.4763954512621351}. Best is trial 12 with value: 0.6340904286242799.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_28/ArgumentsPredictor-24-11-2024_14-48.pth for epoch 9 with best va-f1: 0.46638655462184875

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.40it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.54it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:07<00:00,  4.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:07<00:00,  4.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.54it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.75it/s]
[I 2024-11-24 15:03:27,550] Trial 29 finished with value: 0.5926767676767677 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 25, 'optimizer': 'AdamW', 'weight_decay': 3.85770865250118e-05, 'beta1': 0.9507127295590733, 'beta2': 0.9662753246633683, 'lr': 0.0005695717428518178, 'scheduler': 'CosineAnnealingWarmRestarts', 'T_0': 5, 'T_mult': 1, 'batch_size': 8, 'apdrop_p': 0.3805015608585085}. Best is trial 12 with value: 0.6340904286242799.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_29/ArgumentsPredictor-24-11-2024_14-53.pth for epoch 41 with best va-f1: 0.5926767676767677

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 11.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.49it/s]
[I 2024-11-24 15:09:05,900] Trial 30 finished with value: 0.518901866722286 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 100, 'r_frozen_layers_percentage': 25, 'optimizer': 'AdamW', 'weight_decay': 0.0001543281648130687, 'beta1': 0.9319271647279034, 'beta2': 0.9603825575683134, 'lr': 0.0003582568040237291, 'scheduler': 'CosineAnnealingWarmRestarts', 'T_0': 19, 'T_mult': 3, 'batch_size': 4, 'apdrop_p': 0.4321500907979482}. Best is trial 12 with value: 0.6340904286242799.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_30/ArgumentsPredictor-24-11-2024_15-03.pth for epoch 14 with best va-f1: 0.518901866722286

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.40it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.54it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.38it/s]
[I 2024-11-24 15:15:07,649] Trial 31 finished with value: 0.5765767584591779 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 25, 'optimizer': 'AdamW', 'weight_decay': 1.744477510429462e-05, 'beta1': 0.8227062405685227, 'beta2': 0.8950788268488736, 'lr': 0.0008115338502800077, 'scheduler': None, 'batch_size': 4, 'apdrop_p': 0.2544892358470173}. Best is trial 12 with value: 0.6340904286242799.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_31/ArgumentsPredictor-24-11-2024_15-09.pth for epoch 15 with best va-f1: 0.5765767584591779

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.40it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:05<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  8.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.41it/s]
[I 2024-11-24 15:20:05,026] Trial 32 finished with value: 0.5528985507246377 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 25, 'optimizer': 'AdamW', 'weight_decay': 3.55129035765978e-05, 'beta1': 0.9621914418843459, 'beta2': 0.9864105309444702, 'lr': 0.0007380823971907462, 'scheduler': None, 'batch_size': 4, 'apdrop_p': 0.19883863419324543}. Best is trial 12 with value: 0.6340904286242799.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_32/ArgumentsPredictor-24-11-2024_15-15.pth for epoch 7 with best va-f1: 0.5528985507246377

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.53it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.53it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.40it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.53it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.68it/s]
[I 2024-11-24 15:35:05,545] Trial 33 finished with value: 0.5934134217067109 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 25, 'optimizer': 'AdamW', 'weight_decay': 2.5933336689991243e-05, 'beta1': 0.9101683162969954, 'beta2': 0.9380683503692361, 'lr': 0.00010666297721959232, 'scheduler': None, 'batch_size': 4, 'apdrop_p': 0.2556773059897014}. Best is trial 12 with value: 0.6340904286242799.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_33/ArgumentsPredictor-24-11-2024_15-20.pth for epoch 72 with best va-f1: 0.5934134217067109

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.53it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.39it/s]
[I 2024-11-24 15:41:19,078] Trial 34 finished with value: 0.5652777777777778 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 512, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 25, 'optimizer': 'AdamW', 'weight_decay': 1.5181353206316099e-05, 'beta1': 0.9296458184904159, 'beta2': 0.9746464405915646, 'lr': 0.0006088284965778361, 'scheduler': None, 'batch_size': 4, 'apdrop_p': 0.31514814044921735}. Best is trial 12 with value: 0.6340904286242799.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_34/ArgumentsPredictor-24-11-2024_15-35.pth for epoch 16 with best va-f1: 0.5652777777777778

Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.88it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.83it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.80it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.97it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  3.00it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.97it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.89it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  3.00it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.94it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.92it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.92it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  3.02it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  3.00it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  3.01it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  3.00it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  3.03it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.92it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.89it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.94it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.71it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.65it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.95it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.02it/s]
[I 2024-11-24 15:44:46,773] Trial 35 finished with value: 0.5023432343234323 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 100, 'r_frozen_layers_percentage': 0, 'optimizer': 'AdamW', 'weight_decay': 5.0134363798117666e-05, 'beta1': 0.9030902608585348, 'beta2': 0.9386958008507427, 'lr': 0.0004876758460795915, 'scheduler': None, 'batch_size': 16, 'apdrop_p': 0.3118497819291618}. Best is trial 12 with value: 0.6340904286242799.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_35/ArgumentsPredictor-24-11-2024_15-41.pth for epoch 2 with best va-f1: 0.5023432343234323

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.78it/s]
[I 2024-11-24 15:49:28,575] Trial 36 finished with value: 0.5709348255431205 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 1024, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 50, 'optimizer': 'Adam', 'weight_decay': 1.0194671454435704e-05, 'beta1': 0.9506417863137931, 'beta2': 0.9699983933766856, 'lr': 0.0004112787445493248, 'scheduler': None, 'batch_size': 8, 'apdrop_p': 0.11766963406557981}. Best is trial 12 with value: 0.6340904286242799.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_36/ArgumentsPredictor-24-11-2024_15-44.pth for epoch 7 with best va-f1: 0.5709348255431205

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.53it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.63it/s]
[I 2024-11-24 15:58:08,350] Trial 37 finished with value: 0.5859513274336283 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 512, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 25, 'optimizer': 'Adam', 'weight_decay': 6.406860950009072e-05, 'beta1': 0.877889028826083, 'beta2': 0.9463082400176487, 'lr': 0.0001614444446128816, 'scheduler': 'CosineAnnealing', 'T_max': 48, 'batch_size': 4, 'apdrop_p': 0.3600209578855863}. Best is trial 12 with value: 0.6340904286242799.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_37/ArgumentsPredictor-24-11-2024_15-49.pth for epoch 31 with best va-f1: 0.5859513274336283

Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.95it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.82it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.73it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.77it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.75it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.77it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.78it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.78it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.71it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.79it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.80it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.79it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.77it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.75it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.77it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.79it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.81it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.63it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.62it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.84it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.82it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.73it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.79it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.72it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.80it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.82it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.86it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.80it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.83it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.76it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.82it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.82it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.84it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.87it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.79it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.75it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.69it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.71it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.77it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.81it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.79it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.80it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.78it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.74it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.77it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.85it/s]
[I 2024-11-24 16:04:58,071] Trial 38 finished with value: 0.5936208321851749 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 0, 'optimizer': 'AdamW', 'weight_decay': 0.0004201393434726462, 'beta1': 0.9244777251143269, 'beta2': 0.954105165740246, 'lr': 0.0005284123596024677, 'scheduler': None, 'batch_size': 16, 'apdrop_p': 0.257345792062733}. Best is trial 12 with value: 0.6340904286242799.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_38/ArgumentsPredictor-24-11-2024_15-58.pth for epoch 25 with best va-f1: 0.5936208321851749

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.61it/s]
[I 2024-11-24 16:09:56,306] Trial 39 finished with value: 0.46638655462184875 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 50, 'optimizer': 'SGD', 'weight_decay': 0.0002627954482669845, 'momentum': 0.6802568893219638, 'lr': 0.00012979754977588583, 'scheduler': 'CosineAnnealingWarmRestarts', 'T_0': 11, 'T_mult': 3, 'batch_size': 4, 'apdrop_p': 0.2273592983622737}. Best is trial 12 with value: 0.6340904286242799.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_39/ArgumentsPredictor-24-11-2024_16-04.pth for epoch 8 with best va-f1: 0.46638655462184875

Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  3.07it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.99it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.86it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.96it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.94it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  3.02it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.90it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.98it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  3.01it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.96it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.97it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.90it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  3.09it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.99it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.29it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.48it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.65it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.72it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.53it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.26it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.40it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.62it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.55it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.16it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.31it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.16it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.38it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.31it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.32it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.46it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.50it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.37it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.54it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.43it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.58it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.68it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.58it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.39it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.55it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.62it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.52it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.54it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.57it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.35it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.15it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.13it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.91it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.28it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.49it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.03it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.35it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.47it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.49it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.09it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.52it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.87it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.97it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.76it/s]
[I 2024-11-24 16:19:04,479] Trial 40 finished with value: 0.5567247218190614 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'Adam', 'weight_decay': 0.001242463200045613, 'beta1': 0.9410320895146462, 'beta2': 0.9642272540060324, 'lr': 0.00020120771881424718, 'scheduler': None, 'batch_size': 16, 'apdrop_p': 0.40935683967952524}. Best is trial 12 with value: 0.6340904286242799.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_40/ArgumentsPredictor-24-11-2024_16-09.pth for epoch 35 with best va-f1: 0.5567247218190614

Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:09<00:00,  1.78it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.11it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.08it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.17it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:09<00:00,  1.72it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.87it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.46it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.20it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.97it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:09<00:00,  1.73it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:09<00:00,  1.68it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.14it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.04it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.02it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.03it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.05it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.94it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.96it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.00it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.95it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.98it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.04it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.95it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.99it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.00it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.92it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.99it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.01it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.86it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.93it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.00it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.01it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.02it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  2.00it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.02it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.02it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.94it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.98it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  2.00it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.96it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.03it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.01it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.03it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.95it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.00it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.12it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.30it/s]
[I 2024-11-24 16:28:40,726] Trial 41 finished with value: 0.6029909425699214 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 0, 'optimizer': 'AdamW', 'weight_decay': 0.00034549989469826993, 'beta1': 0.9191334054394821, 'beta2': 0.9546139303074471, 'lr': 0.0005442244132357957, 'scheduler': None, 'batch_size': 16, 'apdrop_p': 0.2670630191266225}. Best is trial 12 with value: 0.6340904286242799.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_41/ArgumentsPredictor-24-11-2024_16-19.pth for epoch 26 with best va-f1: 0.6029909425699214

Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.12it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.03it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.02it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.03it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.06it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.03it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.04it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.02it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.06it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.95it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.03it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.03it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.91it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.95it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  2.00it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.01it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.02it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.01it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.03it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.99it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.02it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.03it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.01it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.02it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.02it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.00it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.04it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.05it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  2.00it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.92it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.92it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.04it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.03it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.01it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.97it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.03it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.03it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.03it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.91it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  2.00it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.04it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.15it/s]
[I 2024-11-24 16:37:16,085] Trial 42 finished with value: 0.5902765388046387 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 0, 'optimizer': 'AdamW', 'weight_decay': 0.00020368363799145935, 'beta1': 0.8907212101888891, 'beta2': 0.9299697231375359, 'lr': 0.0008727140218844958, 'scheduler': None, 'batch_size': 16, 'apdrop_p': 0.1751574831130887}. Best is trial 12 with value: 0.6340904286242799.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_42/ArgumentsPredictor-24-11-2024_16-28.pth for epoch 21 with best va-f1: 0.5902765388046387

Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.09it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.94it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.92it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.89it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.00it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.04it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.01it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.02it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.01it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.98it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.99it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.04it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.01it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.97it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.96it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.96it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  2.00it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.04it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.97it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.95it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.90it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.99it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.01it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.03it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.96it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.01it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  2.00it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.01it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  2.00it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.02it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.03it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.01it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.04it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.05it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.04it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.03it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.90it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.89it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.96it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.02it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.01it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.99it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.01it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.98it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.94it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.98it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.98it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.00it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.19it/s]
[I 2024-11-24 16:47:17,797] Trial 43 finished with value: 0.5902622045885804 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 0, 'optimizer': 'AdamW', 'weight_decay': 0.0011582788878522162, 'beta1': 0.8970568256578151, 'beta2': 0.9587165221181962, 'lr': 0.000458363030779183, 'scheduler': None, 'batch_size': 16, 'apdrop_p': 0.20733653644321431}. Best is trial 12 with value: 0.6340904286242799.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_43/ArgumentsPredictor-24-11-2024_16-37.pth for epoch 28 with best va-f1: 0.5902622045885804

Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.06it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  2.00it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.92it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.93it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.97it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.05it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  2.00it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.01it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.02it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.98it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.00it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.03it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  2.00it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.02it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.98it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.01it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.02it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.03it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.95it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.90it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.99it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.03it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.98it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.01it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.01it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.99it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.99it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.04it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.00it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  2.00it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.91it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.78it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.84it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.82it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.87it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.35it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.59it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.67it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.68it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.73it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.79it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.66it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.70it/s]
[I 2024-11-24 16:55:34,923] Trial 44 finished with value: 0.5834391870435058 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 0, 'optimizer': 'AdamW', 'weight_decay': 0.0003855402102336802, 'beta1': 0.9236707174014438, 'beta2': 0.9695175511214956, 'lr': 0.0005455407570029083, 'scheduler': None, 'batch_size': 16, 'apdrop_p': 0.26971353510514623}. Best is trial 12 with value: 0.6340904286242799.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_44/ArgumentsPredictor-24-11-2024_16-47.pth for epoch 22 with best va-f1: 0.5834391870435058

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:07<00:00,  4.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:07<00:00,  4.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:07<00:00,  4.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:07<00:00,  4.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:07<00:00,  4.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:07<00:00,  4.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  4.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:07<00:00,  4.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.59it/s]
[I 2024-11-24 17:00:12,545] Trial 45 finished with value: 0.5802631578947368 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 0, 'optimizer': 'Adam', 'weight_decay': 0.00010799540044358823, 'beta1': 0.9705696964081523, 'beta2': 0.9890404449229614, 'lr': 0.0006721339207364143, 'scheduler': None, 'batch_size': 8, 'apdrop_p': 0.3110737942629034}. Best is trial 12 with value: 0.6340904286242799.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_45/ArgumentsPredictor-24-11-2024_16-55.pth for epoch 5 with best va-f1: 0.5802631578947368

Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.69it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.46it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.74it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.85it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.96it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.94it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.91it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  3.01it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.92it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.98it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  3.02it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.95it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.97it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.94it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.91it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  3.03it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.98it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.86it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.75it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.92it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.94it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.85it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.83it/s]
[I 2024-11-24 17:03:43,011] Trial 46 finished with value: 0.5525584795321637 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 100, 'r_frozen_layers_percentage': 25, 'optimizer': 'AdamW', 'weight_decay': 1.5127366797804113e-05, 'beta1': 0.9160507599151503, 'beta2': 0.9754880475890659, 'lr': 0.000763715553682394, 'scheduler': 'CosineAnnealing', 'T_max': 36, 'batch_size': 16, 'apdrop_p': 0.1542911110686892}. Best is trial 12 with value: 0.6340904286242799.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_46/ArgumentsPredictor-24-11-2024_17-00.pth for epoch 2 with best va-f1: 0.5525584795321637

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.53it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.40it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.58it/s]
[I 2024-11-24 17:10:02,572] Trial 47 finished with value: 0.5714285714285714 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 512, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 0, 'optimizer': 'SGD', 'weight_decay': 0.00018298647629583646, 'momentum': 0.7635066786020664, 'lr': 0.0004083629096295457, 'scheduler': None, 'batch_size': 4, 'apdrop_p': 0.24463391994720463}. Best is trial 12 with value: 0.6340904286242799.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_47/ArgumentsPredictor-24-11-2024_17-03.pth for epoch 15 with best va-f1: 0.5714285714285714

Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.67it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.62it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.64it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.67it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.64it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.71it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.73it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.77it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.76it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.68it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.70it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.75it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.55it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.70it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.73it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.39it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.70it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.52it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.48it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.71it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.74it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.78it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.67it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.76it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.77it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.73it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.70it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.72it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.73it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.74it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.68it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.76it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.73it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.64it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.76it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.71it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.57it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.59it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.73it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.72it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.69it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.80it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.69it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.70it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.76it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.77it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.73it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.70it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.71it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.73it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.69it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.63it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.71it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.60it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.64it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.78it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.61it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.66it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.73it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.97it/s]
[I 2024-11-24 17:19:08,580] Trial 48 finished with value: 0.5795986622073579 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 25, 'optimizer': 'Adam', 'weight_decay': 2.8687734420131197e-05, 'beta1': 0.945822255589, 'beta2': 0.9776773260455341, 'lr': 0.0009138694441722206, 'scheduler': None, 'batch_size': 16, 'apdrop_p': 0.3363333579147249}. Best is trial 12 with value: 0.6340904286242799.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_48/ArgumentsPredictor-24-11-2024_17-10.pth for epoch 39 with best va-f1: 0.5795986622073579

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.67it/s]
[I 2024-11-24 17:26:07,463] Trial 49 finished with value: 0.5603294177732381 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 1024, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 25, 'optimizer': 'AdamW', 'weight_decay': 1.2621938059123043e-05, 'beta1': 0.9563414118183305, 'beta2': 0.9949619805381065, 'lr': 0.0005857804227303841, 'scheduler': None, 'batch_size': 8, 'apdrop_p': 0.2996072793555651}. Best is trial 12 with value: 0.6340904286242799.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_49/ArgumentsPredictor-24-11-2024_17-19.pth for epoch 20 with best va-f1: 0.5603294177732381

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.54it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.40it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.37it/s]
[I 2024-11-24 17:37:13,809] Trial 50 finished with value: 0.5908549181630383 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'Adam', 'weight_decay': 4.411840298867463e-05, 'beta1': 0.8772711962386734, 'beta2': 0.9189719630108274, 'lr': 0.0004994112873814984, 'scheduler': 'CosineAnnealingWarmRestarts', 'T_0': 15, 'T_mult': 1, 'batch_size': 4, 'apdrop_p': 0.36313599128282115}. Best is trial 12 with value: 0.6340904286242799.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_50/ArgumentsPredictor-24-11-2024_17-26.pth for epoch 48 with best va-f1: 0.5908549181630383

Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.66it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.72it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.73it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.72it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.68it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.75it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.70it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.73it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.74it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.71it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.72it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.73it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.70it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.70it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.73it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.70it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.43it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.41it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.51it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.72it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.73it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.70it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.75it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.66it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.76it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.72it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.67it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.73it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.66it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.61it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.61it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.67it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.71it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.60it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.50it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.97it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.67it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.57it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.72it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.60it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.62it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.71it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.73it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.82it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.78it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.03it/s]
[I 2024-11-24 17:44:22,816] Trial 51 finished with value: 0.597470238095238 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 0, 'optimizer': 'AdamW', 'weight_decay': 0.00036199834563256655, 'beta1': 0.925473359384366, 'beta2': 0.9549085538603963, 'lr': 0.0005399617669033203, 'scheduler': None, 'batch_size': 16, 'apdrop_p': 0.2708642484037065}. Best is trial 12 with value: 0.6340904286242799.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_51/ArgumentsPredictor-24-11-2024_17-37.pth for epoch 25 with best va-f1: 0.597470238095238

Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.61it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.22it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.63it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.61it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.60it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.71it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.72it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.57it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.78it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.78it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.71it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.71it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.75it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.69it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.71it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.64it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.74it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.53it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.58it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.72it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.70it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.72it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.69it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.69it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.78it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.73it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.76it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.67it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.72it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.76it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.67it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.72it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.69it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.62it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.59it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.51it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.49it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.68it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.80it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.82it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.57it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.80it/s]
[I 2024-11-24 17:50:54,830] Trial 52 finished with value: 0.5972334319791947 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 0, 'optimizer': 'AdamW', 'weight_decay': 0.00038671671218373446, 'beta1': 0.936304860953915, 'beta2': 0.9565831186524412, 'lr': 0.0006478589089547074, 'scheduler': None, 'batch_size': 16, 'apdrop_p': 0.2723051345225671}. Best is trial 12 with value: 0.6340904286242799.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_52/ArgumentsPredictor-24-11-2024_17-44.pth for epoch 21 with best va-f1: 0.5972334319791947

Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.71it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.61it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.73it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.67it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.62it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.39it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.54it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.63it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.66it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.68it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.51it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.89it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.71it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.61it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.41it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.61it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.58it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.72it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.59it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.53it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.44it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.60it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.52it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.35it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.46it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.50it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.68it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.24it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.82it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.86it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.85it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.86it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.86it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.81it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.81it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.78it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.72it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.89it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.85it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.86it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.67it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.37it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.67it/s]
[I 2024-11-24 17:57:41,963] Trial 53 finished with value: 0.595 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 0, 'optimizer': 'AdamW', 'weight_decay': 0.0003511273744728144, 'beta1': 0.9370965547665935, 'beta2': 0.9573352109109587, 'lr': 0.0006326169989449622, 'scheduler': None, 'batch_size': 16, 'apdrop_p': 0.2739215726574539}. Best is trial 12 with value: 0.6340904286242799.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_53/ArgumentsPredictor-24-11-2024_17-50.pth for epoch 22 with best va-f1: 0.595

Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.46it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.35it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.45it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.45it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.50it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.45it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.39it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.41it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.45it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.45it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.46it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.29it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.25it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.28it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.53it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.40it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.43it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.54it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.38it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.42it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.45it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.44it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.38it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.58it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.70it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.70it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.76it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.67it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.48it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.58it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.78it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.71it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.71it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.73it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.68it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.73it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.75it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.71it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.75it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.73it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.68it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.72it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.99it/s]
[I 2024-11-24 18:04:24,043] Trial 54 finished with value: 0.625784929356358 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 0, 'optimizer': 'AdamW', 'weight_decay': 0.000536445983286926, 'beta1': 0.9153081824528388, 'beta2': 0.9495163176816066, 'lr': 0.0007999723818251523, 'scheduler': None, 'batch_size': 16, 'apdrop_p': 0.32949013222296347}. Best is trial 12 with value: 0.6340904286242799.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_54/ArgumentsPredictor-24-11-2024_17-57.pth for epoch 20 with best va-f1: 0.625784929356358

Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.65it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.76it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.73it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.71it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.72it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.57it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.73it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.64it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.63it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.76it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.73it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.76it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.72it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.73it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.69it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.57it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.69it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.77it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.74it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.67it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.75it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.69it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.72it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.53it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.70it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.40it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.58it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.33it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.55it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.78it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.50it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.64it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.62it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.70it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.68it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.55it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.69it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.54it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  2.00it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.98it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.14it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.97it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.30it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.02it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.35it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.65it/s]
[I 2024-11-24 18:11:46,013] Trial 55 finished with value: 0.5826282390269699 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 0, 'optimizer': 'AdamW', 'weight_decay': 0.0010268521968434892, 'beta1': 0.9164207915166593, 'beta2': 0.9486455321127188, 'lr': 0.0008172537611641614, 'scheduler': None, 'batch_size': 16, 'apdrop_p': 0.3280522285647718}. Best is trial 12 with value: 0.6340904286242799.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_55/ArgumentsPredictor-24-11-2024_18-04.pth for epoch 25 with best va-f1: 0.5826282390269699

Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.63it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.70it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.62it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.87it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.19it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.19it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.53it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.52it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.61it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.42it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.24it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.54it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.42it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.55it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.65it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.75it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.82it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.66it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.69it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.55it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.77it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.30it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.04it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.27it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.25it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.26it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.45it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.66it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.97it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.48it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.35it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.27it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.57it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.57it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.88it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.47it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.14it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.13it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.77it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.79it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.78it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.82it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.52it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.52it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.72it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.88it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.72it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.75it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.81it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.49it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.72it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.81it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.72it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.81it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.74it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.89it/s]
[I 2024-11-24 18:20:37,957] Trial 56 finished with value: 0.5913522296443401 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 0, 'optimizer': 'AdamW', 'weight_decay': 0.0005287698816977301, 'beta1': 0.8983618623744702, 'beta2': 0.9453681957892284, 'lr': 0.0007224598566305215, 'scheduler': None, 'batch_size': 16, 'apdrop_p': 0.2974672515478974}. Best is trial 12 with value: 0.6340904286242799.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_56/ArgumentsPredictor-24-11-2024_18-11.pth for epoch 34 with best va-f1: 0.5913522296443401

Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.95it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.58it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.75it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.73it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.58it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.63it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.45it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.20it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.60it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.70it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.68it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.71it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.65it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.75it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.75it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.33it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.38it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.18it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.28it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.47it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.45it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.66it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.60it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.29it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.54it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.61it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.82it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.66it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.59it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.71it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.73it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.80it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.76it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.73it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.70it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.73it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.65it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.75it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.68it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.79it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.78it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.36it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.32it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.27it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.36it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.82it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.82it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.80it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.53it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.51it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.49it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.74it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.47it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.66it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.72it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.52it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.54it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.73it/s]
[I 2024-11-24 18:29:43,591] Trial 57 finished with value: 0.5902478448275862 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 0, 'optimizer': 'Adam', 'weight_decay': 0.00030165916687579304, 'beta1': 0.9114406505407585, 'beta2': 0.9495781901440825, 'lr': 0.0002983948354178613, 'scheduler': None, 'batch_size': 16, 'apdrop_p': 0.23420119742551865}. Best is trial 12 with value: 0.6340904286242799.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_57/ArgumentsPredictor-24-11-2024_18-20.pth for epoch 37 with best va-f1: 0.5902478448275862

Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.82it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.73it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.70it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.72it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.71it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.78it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.69it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.73it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.71it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.73it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.63it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.68it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.69it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.49it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.59it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.65it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.39it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.58it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.44it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.76it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.88it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.82it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.93it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.76it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.56it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.84it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.29it/s]
[I 2024-11-24 18:34:07,651] Trial 58 finished with value: 0.5622854157336916 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 0, 'optimizer': 'AdamW', 'weight_decay': 0.00022396572786017763, 'beta1': 0.9784713805955253, 'beta2': 0.9929213214000271, 'lr': 0.0007870126737815823, 'scheduler': 'CosineAnnealing', 'T_max': 24, 'batch_size': 16, 'apdrop_p': 0.3375565341252478}. Best is trial 12 with value: 0.6340904286242799.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_58/ArgumentsPredictor-24-11-2024_18-29.pth for epoch 6 with best va-f1: 0.5622854157336916

Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.56it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.69it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.66it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.65it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.68it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.72it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.67it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.64it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.70it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.65it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.62it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.72it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.66it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.70it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.53it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.59it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.70it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.69it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.74it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.65it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.79it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.71it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.75it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.68it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.73it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.69it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.67it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.68it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.69it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.71it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.49it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.62it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.93it/s]
[I 2024-11-24 18:39:20,112] Trial 59 finished with value: 0.5857537490134175 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 0, 'optimizer': 'SGD', 'weight_decay': 0.0006940493608422363, 'momentum': 0.599867746468744, 'lr': 0.0004412340457001424, 'scheduler': None, 'batch_size': 16, 'apdrop_p': 0.2951353294628691}. Best is trial 12 with value: 0.6340904286242799.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_59/ArgumentsPredictor-24-11-2024_18-34.pth for epoch 12 with best va-f1: 0.5857537490134175

Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.72it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.63it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.65it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.65it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.57it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.65it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.68it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.71it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.70it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.58it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.56it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.61it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.67it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.69it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.68it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.72it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.69it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.74it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.64it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.58it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.54it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.55it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.69it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.62it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.55it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.47it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.60it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.56it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.67it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.71it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.69it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.63it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.66it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.67it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.72it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.64it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.69it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.78it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.68it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.67it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.65it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.70it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.52it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.66it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.70it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.67it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.69it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.71it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.67it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.75it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.65it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.65it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.63it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.71it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.75it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.63it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.64it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.53it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.53it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.04it/s]
[I 2024-11-24 18:48:30,732] Trial 60 finished with value: 0.5938721804511279 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 1024, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 50, 'optimizer': 'Adam', 'weight_decay': 0.0009365693777963953, 'beta1': 0.9275706734707374, 'beta2': 0.9626498644218862, 'lr': 0.0009379209925020302, 'scheduler': None, 'batch_size': 16, 'apdrop_p': 0.3713573208422166}. Best is trial 12 with value: 0.6340904286242799.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_60/ArgumentsPredictor-24-11-2024_18-39.pth for epoch 39 with best va-f1: 0.5938721804511279

Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.76it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.68it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.75it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.72it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.71it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.58it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.69it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.74it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.68it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.77it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.51it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.59it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.66it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.78it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.68it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.72it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.75it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.76it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.74it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.77it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.74it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.76it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.69it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.79it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.78it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.62it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.57it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.73it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.77it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.75it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.70it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.67it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.67it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.78it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.78it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.79it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.76it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.70it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.72it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.71it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.73it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.61it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.80it/s]
[I 2024-11-24 18:55:03,625] Trial 61 finished with value: 0.5982565647869135 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 0, 'optimizer': 'AdamW', 'weight_decay': 0.0004588714356711747, 'beta1': 0.9436916975840423, 'beta2': 0.9546170652536292, 'lr': 0.0005539643093936448, 'scheduler': None, 'batch_size': 16, 'apdrop_p': 0.26627843818821245}. Best is trial 12 with value: 0.6340904286242799.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_61/ArgumentsPredictor-24-11-2024_18-48.pth for epoch 22 with best va-f1: 0.5982565647869135

Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.88it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.78it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.72it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.74it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.72it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.74it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.66it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.68it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.78it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.67it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.65it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.61it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.69it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.79it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.75it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.70it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.70it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.68it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.76it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.75it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.76it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.79it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.73it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.77it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.76it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.75it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.55it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.62it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.74it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.73it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.75it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.74it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.74it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.78it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.75it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.73it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.67it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.76it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.78it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.79it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.75it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.69it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.58it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.73it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.68it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.74it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.74it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.73it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.00it/s]
[I 2024-11-24 19:02:27,408] Trial 62 finished with value: 0.5802842794368218 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 0, 'optimizer': 'AdamW', 'weight_decay': 0.0008004155699353269, 'beta1': 0.9185963585827542, 'beta2': 0.9531190945600448, 'lr': 0.00036449894364653905, 'scheduler': None, 'batch_size': 16, 'apdrop_p': 0.018392779081861765}. Best is trial 12 with value: 0.6340904286242799.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_62/ArgumentsPredictor-24-11-2024_18-55.pth for epoch 28 with best va-f1: 0.5802842794368218

Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.89it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.78it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.80it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.74it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.69it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.81it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.61it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.70it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.73it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.70it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.73it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.72it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.74it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.72it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.72it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.73it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.79it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.74it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.79it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.70it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.70it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.61it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.64it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.72it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.78it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.69it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.73it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.78it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.72it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.68it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.71it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.73it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.76it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.78it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.78it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.76it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.76it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.63it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.56it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.69it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.77it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.67it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.72it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.63it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.67it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.69it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.73it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.71it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.81it/s]
[I 2024-11-24 19:09:52,867] Trial 63 finished with value: 0.5911902530459232 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 0, 'optimizer': 'AdamW', 'weight_decay': 0.0005118304862244195, 'beta1': 0.957604728822637, 'beta2': 0.9613940817567286, 'lr': 0.0005262390219186519, 'scheduler': None, 'batch_size': 16, 'apdrop_p': 0.3497210747651728}. Best is trial 12 with value: 0.6340904286242799.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_63/ArgumentsPredictor-24-11-2024_19-02.pth for epoch 28 with best va-f1: 0.5911902530459232

Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.78it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.57it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.69it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.76it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.74it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.76it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.69it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.74it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.74it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.70it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.72it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.70it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.72it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.75it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.67it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.74it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.56it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.64it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.77it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.67it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.75it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.75it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.76it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.71it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.75it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.74it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.76it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.72it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.69it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.75it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.69it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.61it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.89it/s]
[I 2024-11-24 19:15:01,062] Trial 64 finished with value: 0.5857537490134175 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 0, 'optimizer': 'AdamW', 'weight_decay': 0.0021276575375162973, 'beta1': 0.9419789708743519, 'beta2': 0.9546346928029249, 'lr': 0.0005720427859773313, 'scheduler': None, 'batch_size': 16, 'apdrop_p': 0.3986238247899443}. Best is trial 12 with value: 0.6340904286242799.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_64/ArgumentsPredictor-24-11-2024_19-09.pth for epoch 12 with best va-f1: 0.5857537490134175

Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.80it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.76it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.73it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.74it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.68it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.63it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.74it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.78it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.68it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.74it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.68it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.67it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.67it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.66it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.70it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.77it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.76it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.66it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.71it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.77it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.73it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.76it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.70it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.70it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.70it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.70it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.72it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.71it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.71it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.62it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.69it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.66it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.78it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.72it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.72it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.73it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.80it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.71it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.72it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.78it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.75it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.71it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.89it/s]
[I 2024-11-24 19:21:33,592] Trial 65 finished with value: 0.589136354794787 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 0, 'optimizer': 'AdamW', 'weight_decay': 0.0004905567511374286, 'beta1': 0.9308710442456489, 'beta2': 0.9508428585586647, 'lr': 0.0006930402283848732, 'scheduler': None, 'batch_size': 16, 'apdrop_p': 0.3250717146692799}. Best is trial 12 with value: 0.6340904286242799.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_65/ArgumentsPredictor-24-11-2024_19-15.pth for epoch 22 with best va-f1: 0.589136354794787

Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.92it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.93it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.89it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.88it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.92it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.90it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.87it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.90it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.92it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.89it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.92it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.91it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.89it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.95it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.82it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.87it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.88it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.96it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.87it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  2.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.89it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.93it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:05<00:00,  2.90it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:02<00:00,  3.05it/s]
[I 2024-11-24 19:25:05,653] Trial 66 finished with value: 0.4917625016151958 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 100, 'r_frozen_layers_percentage': 0, 'optimizer': 'AdamW', 'weight_decay': 0.0002724333823983964, 'beta1': 0.9490535121108309, 'beta2': 0.956320105385397, 'lr': 0.0004822264172116844, 'scheduler': None, 'batch_size': 16, 'apdrop_p': 0.2815414874240592}. Best is trial 12 with value: 0.6340904286242799.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_66/ArgumentsPredictor-24-11-2024_19-21.pth for epoch 2 with best va-f1: 0.4917625016151958

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.33it/s]
[I 2024-11-24 19:34:16,298] Trial 67 finished with value: 0.5974489795918367 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 0.0001552466795100513, 'beta1': 0.904959327922922, 'beta2': 0.9436999953781504, 'lr': 0.0006302357926421368, 'scheduler': 'CosineAnnealingWarmRestarts', 'T_0': 9, 'T_mult': 2, 'batch_size': 4, 'apdrop_p': 0.20818750918840406}. Best is trial 12 with value: 0.6340904286242799.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_67/ArgumentsPredictor-24-11-2024_19-25.pth for epoch 36 with best va-f1: 0.5974489795918367

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  4.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:07<00:00,  4.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  4.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.53it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.54it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.53it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.59it/s]
[I 2024-11-24 19:47:40,018] Trial 68 finished with value: 0.6002747252747253 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 512, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 25, 'optimizer': 'Adam', 'weight_decay': 0.004973163896167071, 'beta1': 0.9222234284654585, 'beta2': 0.9473553790909338, 'lr': 0.00038423576963035974, 'scheduler': None, 'batch_size': 8, 'apdrop_p': 0.23538635536100144}. Best is trial 12 with value: 0.6340904286242799.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_68/ArgumentsPredictor-24-11-2024_19-34.pth for epoch 61 with best va-f1: 0.6002747252747253

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.54it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.54it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.51it/s]
[I 2024-11-24 19:56:25,127] Trial 69 finished with value: 0.576473692145334 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 512, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 25, 'optimizer': 'Adam', 'weight_decay': 0.0035952070992045595, 'beta1': 0.9737813243583392, 'beta2': 0.9867699659291107, 'lr': 0.0003148078817105006, 'scheduler': None, 'batch_size': 8, 'apdrop_p': 0.18638323612518562}. Best is trial 12 with value: 0.6340904286242799.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_69/ArgumentsPredictor-24-11-2024_19-47.pth for epoch 32 with best va-f1: 0.576473692145334

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.54it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.57it/s]
[I 2024-11-24 20:01:30,006] Trial 70 finished with value: 0.5662202380952381 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 512, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 25, 'optimizer': 'Adam', 'weight_decay': 0.009003571928583287, 'beta1': 0.8851476196855905, 'beta2': 0.9325342126128031, 'lr': 0.0002528446895323298, 'scheduler': 'CosineAnnealing', 'T_max': 40, 'batch_size': 8, 'apdrop_p': 0.23487952564612558}. Best is trial 12 with value: 0.6340904286242799.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_70/ArgumentsPredictor-24-11-2024_19-56.pth for epoch 9 with best va-f1: 0.5662202380952381

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.51it/s]
[I 2024-11-24 20:06:07,016] Trial 71 finished with value: 0.5612244897959183 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 512, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 25, 'optimizer': 'Adam', 'weight_decay': 0.0055066441034450865, 'beta1': 0.924259638859289, 'beta2': 0.9471164930144353, 'lr': 0.00039315017860551486, 'scheduler': None, 'batch_size': 8, 'apdrop_p': 0.2540407521336805}. Best is trial 12 with value: 0.6340904286242799.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_71/ArgumentsPredictor-24-11-2024_20-01.pth for epoch 6 with best va-f1: 0.5612244897959183

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.54it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.53it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.53it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.56it/s]
[I 2024-11-24 20:10:44,167] Trial 72 finished with value: 0.5587365591397849 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 512, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 25, 'optimizer': 'Adam', 'weight_decay': 0.003472694593278569, 'beta1': 0.9115994909119435, 'beta2': 0.9650590278610764, 'lr': 0.0004344443279112324, 'scheduler': None, 'batch_size': 8, 'apdrop_p': 0.21687574404857074}. Best is trial 12 with value: 0.6340904286242799.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_72/ArgumentsPredictor-24-11-2024_20-06.pth for epoch 6 with best va-f1: 0.5587365591397849

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.13it/s]
[I 2024-11-24 20:17:51,175] Trial 73 finished with value: 0.594047619047619 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 25, 'optimizer': 'Adam', 'weight_decay': 0.0015739778042579324, 'beta1': 0.9330955115470465, 'beta2': 0.9522169588247061, 'lr': 0.0003371680316511797, 'scheduler': None, 'batch_size': 4, 'apdrop_p': 0.2715496609781346}. Best is trial 12 with value: 0.6340904286242799.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_73/ArgumentsPredictor-24-11-2024_20-10.pth for epoch 21 with best va-f1: 0.594047619047619

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.54it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.54it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.54it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.53it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.67it/s]
[I 2024-11-24 20:26:22,424] Trial 74 finished with value: 0.6727080662773584 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 25, 'optimizer': 'AdamW', 'weight_decay': 9.19599933386042e-05, 'beta1': 0.9209794540248918, 'beta2': 0.9495871135957141, 'lr': 0.0005447434007640449, 'scheduler': None, 'batch_size': 8, 'apdrop_p': 0.3058747400043239}. Best is trial 74 with value: 0.6727080662773584.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_74/ArgumentsPredictor-24-11-2024_20-17.pth for epoch 31 with best va-f1: 0.6727080662773584

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.53it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.54it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.53it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
[I 2024-11-24 20:32:34,110] Trial 75 finished with value: 0.5871212121212122 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 512, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 25, 'optimizer': 'Adam', 'weight_decay': 0.00010641216428931473, 'beta1': 0.9457186374689381, 'beta2': 0.9504944399019799, 'lr': 0.0007361969515885113, 'scheduler': None, 'batch_size': 8, 'apdrop_p': 0.3055092239736077}. Best is trial 74 with value: 0.6727080662773584.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_75/ArgumentsPredictor-24-11-2024_20-26.pth for epoch 16 with best va-f1: 0.5871212121212122

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.54it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.59it/s]
[I 2024-11-24 20:39:32,169] Trial 76 finished with value: 0.654101454101454 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 25, 'optimizer': 'AdamW', 'weight_decay': 6.781724841508312e-05, 'beta1': 0.9564470470428632, 'beta2': 0.9587388183650258, 'lr': 0.00038029012293208956, 'scheduler': None, 'batch_size': 8, 'apdrop_p': 0.2896617848945433}. Best is trial 74 with value: 0.6727080662773584.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_76/ArgumentsPredictor-24-11-2024_20-32.pth for epoch 21 with best va-f1: 0.654101454101454

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.53it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.54it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.54it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.66it/s]
[I 2024-11-24 20:46:28,994] Trial 77 finished with value: 0.6403516182323347 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 25, 'optimizer': 'SGD', 'weight_decay': 0.00011554466523275105, 'momentum': 0.8949116153240749, 'lr': 0.0003723572400881961, 'scheduler': None, 'batch_size': 8, 'apdrop_p': 0.2887422442693743}. Best is trial 74 with value: 0.6727080662773584.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_77/ArgumentsPredictor-24-11-2024_20-39.pth for epoch 21 with best va-f1: 0.6403516182323347

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.54it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.53it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.69it/s]
[I 2024-11-24 20:55:02,884] Trial 78 finished with value: 0.6378669275929549 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 25, 'optimizer': 'SGD', 'weight_decay': 8.351832994380875e-05, 'momentum': 0.8770494548476505, 'lr': 0.00029351835845017887, 'scheduler': None, 'batch_size': 8, 'apdrop_p': 0.32456173353952833}. Best is trial 74 with value: 0.6727080662773584.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_78/ArgumentsPredictor-24-11-2024_20-46.pth for epoch 31 with best va-f1: 0.6378669275929549

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.53it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
[I 2024-11-24 21:07:51,209] Trial 79 finished with value: 0.6161464585834334 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 25, 'optimizer': 'SGD', 'weight_decay': 6.25262458509423e-05, 'momentum': 0.8989178578472711, 'lr': 0.0002662016349546501, 'scheduler': None, 'batch_size': 8, 'apdrop_p': 0.34810280650569136}. Best is trial 74 with value: 0.6727080662773584.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_79/ArgumentsPredictor-24-11-2024_20-55.pth for epoch 58 with best va-f1: 0.6161464585834334

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.54it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.54it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.54it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.77it/s]
[I 2024-11-24 21:14:02,814] Trial 80 finished with value: 0.5449847509318875 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 25, 'optimizer': 'SGD', 'weight_decay': 8.42820002557792e-05, 'momentum': 0.7833576999507542, 'lr': 0.0003025726162910593, 'scheduler': 'CosineAnnealingWarmRestarts', 'T_0': 16, 'T_mult': 3, 'batch_size': 8, 'apdrop_p': 0.28774155916358307}. Best is trial 74 with value: 0.6727080662773584.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_80/ArgumentsPredictor-24-11-2024_21-07.pth for epoch 16 with best va-f1: 0.5449847509318875

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.53it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.53it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.54it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.54it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.54it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
[I 2024-11-24 21:23:24,001] Trial 81 finished with value: 0.608125 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 25, 'optimizer': 'SGD', 'weight_decay': 6.090716916111867e-05, 'momentum': 0.8945723236770892, 'lr': 0.0002800946990050663, 'scheduler': None, 'batch_size': 8, 'apdrop_p': 0.3482939301749299}. Best is trial 74 with value: 0.6727080662773584.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_81/ArgumentsPredictor-24-11-2024_21-14.pth for epoch 36 with best va-f1: 0.608125

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.54it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.54it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.75it/s]
[I 2024-11-24 21:32:06,519] Trial 82 finished with value: 0.5990196078431372 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 25, 'optimizer': 'SGD', 'weight_decay': 7.269480831980179e-05, 'momentum': 0.8942453767335841, 'lr': 0.00025163637897939286, 'scheduler': None, 'batch_size': 8, 'apdrop_p': 0.3223809712027788}. Best is trial 74 with value: 0.6727080662773584.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_82/ArgumentsPredictor-24-11-2024_21-23.pth for epoch 32 with best va-f1: 0.5990196078431372

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.53it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.57it/s]
[I 2024-11-24 21:38:17,961] Trial 83 finished with value: 0.5870169736366919 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 25, 'optimizer': 'SGD', 'weight_decay': 0.00010364718779383276, 'momentum': 0.837729449731002, 'lr': 0.00020995964498636834, 'scheduler': None, 'batch_size': 8, 'apdrop_p': 0.3391442440507399}. Best is trial 74 with value: 0.6727080662773584.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_83/ArgumentsPredictor-24-11-2024_21-32.pth for epoch 16 with best va-f1: 0.5870169736366919

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.54it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.54it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
[I 2024-11-24 21:47:21,304] Trial 84 finished with value: 0.6015232674924673 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 25, 'optimizer': 'SGD', 'weight_decay': 4.506791916478908e-05, 'momentum': 0.8865106046246999, 'lr': 0.0002796094938277714, 'scheduler': None, 'batch_size': 8, 'apdrop_p': 0.36523090551336945}. Best is trial 74 with value: 0.6727080662773584.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_84/ArgumentsPredictor-24-11-2024_21-38.pth for epoch 34 with best va-f1: 0.6015232674924673

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.53it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.60it/s]
[I 2024-11-24 21:58:07,444] Trial 85 finished with value: 0.5875 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 25, 'optimizer': 'SGD', 'weight_decay': 6.329476983795672e-05, 'momentum': 0.7729947404287711, 'lr': 0.00023271046535323166, 'scheduler': None, 'batch_size': 8, 'apdrop_p': 0.30806386414064446}. Best is trial 74 with value: 0.6727080662773584.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_85/ArgumentsPredictor-24-11-2024_21-47.pth for epoch 45 with best va-f1: 0.5875

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.54it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.53it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.33it/s]
[I 2024-11-24 22:07:56,071] Trial 86 finished with value: 0.6051839464882943 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 25, 'optimizer': 'SGD', 'weight_decay': 0.00012418400847237062, 'momentum': 0.8169887541848206, 'lr': 0.0003324770224390715, 'scheduler': None, 'batch_size': 8, 'apdrop_p': 0.3194901362673756}. Best is trial 74 with value: 0.6727080662773584.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_86/ArgumentsPredictor-24-11-2024_21-58.pth for epoch 39 with best va-f1: 0.6051839464882943

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.53it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.53it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.67it/s]
[I 2024-11-24 22:16:30,029] Trial 87 finished with value: 0.5940876350540216 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 25, 'optimizer': 'SGD', 'weight_decay': 9.040491079468602e-05, 'momentum': 0.8612437765095428, 'lr': 0.0003705564891161835, 'scheduler': None, 'batch_size': 8, 'apdrop_p': 0.38959930798854414}. Best is trial 74 with value: 0.6727080662773584.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_87/ArgumentsPredictor-24-11-2024_22-07.pth for epoch 31 with best va-f1: 0.5940876350540216

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.53it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
[I 2024-11-24 22:21:00,092] Trial 88 finished with value: 0.5574866310160428 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 1024, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 25, 'optimizer': 'SGD', 'weight_decay': 3.201199878063764e-05, 'momentum': 0.7266574449085521, 'lr': 0.0008554517313363578, 'scheduler': None, 'batch_size': 8, 'apdrop_p': 0.33391546279880907}. Best is trial 74 with value: 0.6727080662773584.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_88/ArgumentsPredictor-24-11-2024_22-16.pth for epoch 5 with best va-f1: 0.5574866310160428

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.54it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.54it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.69it/s]
[I 2024-11-24 22:27:38,908] Trial 89 finished with value: 0.5656230234029096 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 25, 'optimizer': 'SGD', 'weight_decay': 5.151995027055823e-05, 'momentum': 0.8091232296307285, 'lr': 0.00035306011850951235, 'scheduler': 'CosineAnnealing', 'T_max': 19, 'batch_size': 8, 'apdrop_p': 0.3543858024822387}. Best is trial 74 with value: 0.6727080662773584.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_89/ArgumentsPredictor-24-11-2024_22-21.pth for epoch 19 with best va-f1: 0.5656230234029096

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.66it/s]
[I 2024-11-24 22:35:14,666] Trial 90 finished with value: 0.6344599844599845 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 25, 'optimizer': 'SGD', 'weight_decay': 7.235481283921929e-05, 'momentum': 0.8670601111918729, 'lr': 0.0003182420560675912, 'scheduler': None, 'batch_size': 8, 'apdrop_p': 0.37096053227244447}. Best is trial 74 with value: 0.6727080662773584.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_90/ArgumentsPredictor-24-11-2024_22-27.pth for epoch 25 with best va-f1: 0.6344599844599845

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.53it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.54it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.53it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.54it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.53it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.72it/s]
[I 2024-11-24 22:43:38,995] Trial 91 finished with value: 0.6144474082618412 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 25, 'optimizer': 'SGD', 'weight_decay': 3.9862621550822284e-05, 'momentum': 0.8997039852479234, 'lr': 0.0002648888050053969, 'scheduler': None, 'batch_size': 8, 'apdrop_p': 0.37847314070261934}. Best is trial 74 with value: 0.6727080662773584.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_91/ArgumentsPredictor-24-11-2024_22-35.pth for epoch 30 with best va-f1: 0.6144474082618412

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.54it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.53it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
[I 2024-11-24 22:52:22,416] Trial 92 finished with value: 0.5979251012145749 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 25, 'optimizer': 'SGD', 'weight_decay': 7.43191855996426e-05, 'momentum': 0.8630147861578933, 'lr': 0.0003137601967023429, 'scheduler': None, 'batch_size': 8, 'apdrop_p': 0.30217772048095914}. Best is trial 74 with value: 0.6727080662773584.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_92/ArgumentsPredictor-24-11-2024_22-43.pth for epoch 32 with best va-f1: 0.5979251012145749

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.54it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.63it/s]
[I 2024-11-24 23:04:05,036] Trial 93 finished with value: 0.6147239990523573 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 25, 'optimizer': 'SGD', 'weight_decay': 0.00016892380886377275, 'momentum': 0.8652007169624035, 'lr': 0.00029557281924438053, 'scheduler': None, 'batch_size': 8, 'apdrop_p': 0.283043064418054}. Best is trial 74 with value: 0.6727080662773584.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_93/ArgumentsPredictor-24-11-2024_22-52.pth for epoch 51 with best va-f1: 0.6147239990523573

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.54it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.76it/s]
[I 2024-11-24 23:11:10,708] Trial 94 finished with value: 0.6011230907457322 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 25, 'optimizer': 'SGD', 'weight_decay': 0.00012624195943981243, 'momentum': 0.8047081742309036, 'lr': 0.00042322358929170584, 'scheduler': None, 'batch_size': 4, 'apdrop_p': 0.31485697793956147}. Best is trial 74 with value: 0.6727080662773584.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_94/ArgumentsPredictor-24-11-2024_23-04.pth for epoch 21 with best va-f1: 0.6011230907457322

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.53it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.50it/s]
[I 2024-11-24 23:19:37,100] Trial 95 finished with value: 0.6047762068712915 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 50, 'optimizer': 'SGD', 'weight_decay': 2.429153848495231e-05, 'momentum': 0.8679702423739332, 'lr': 0.00023868545266353348, 'scheduler': None, 'batch_size': 8, 'apdrop_p': 0.40466199980733125}. Best is trial 74 with value: 0.6727080662773584.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_95/ArgumentsPredictor-24-11-2024_23-11.pth for epoch 30 with best va-f1: 0.6047762068712915

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.54it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.22it/s]
[I 2024-11-24 23:27:42,307] Trial 96 finished with value: 0.5846560846560847 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 25, 'optimizer': 'SGD', 'weight_decay': 6.609728342207292e-05, 'momentum': 0.6228740398281399, 'lr': 0.0003432342075387984, 'scheduler': None, 'batch_size': 4, 'apdrop_p': 0.3427432564289568}. Best is trial 74 with value: 0.6727080662773584.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_96/ArgumentsPredictor-24-11-2024_23-19.pth for epoch 27 with best va-f1: 0.5846560846560847

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.81it/s]
[I 2024-11-24 23:31:42,736] Trial 97 finished with value: 0.46638655462184875 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 25, 'optimizer': 'SGD', 'weight_decay': 9.276741671383926e-05, 'momentum': 0.7394210833011907, 'lr': 0.00021317732412779535, 'scheduler': None, 'batch_size': 8, 'apdrop_p': 0.4557745292756318}. Best is trial 74 with value: 0.6727080662773584.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_97/ArgumentsPredictor-24-11-2024_23-27.pth for epoch 2 with best va-f1: 0.46638655462184875

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.22it/s]
[I 2024-11-24 23:37:44,340] Trial 98 finished with value: 0.5498632010943912 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 100, 'r_frozen_layers_percentage': 25, 'optimizer': 'SGD', 'weight_decay': 3.2943346020270785e-05, 'momentum': 0.8358191941290181, 'lr': 0.0007878979445217523, 'scheduler': None, 'batch_size': 4, 'apdrop_p': 0.3729937387633418}. Best is trial 74 with value: 0.6727080662773584.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_98/ArgumentsPredictor-24-11-2024_23-31.pth for epoch 16 with best va-f1: 0.5498632010943912

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.74it/s]
[I 2024-11-24 23:48:29,828] Trial 99 finished with value: 0.5909144752428335 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 25, 'optimizer': 'AdamW', 'weight_decay': 2.0397881013275915e-05, 'beta1': 0.9866054975373003, 'beta2': 0.9971664971593823, 'lr': 0.00032106169220220217, 'scheduler': 'CosineAnnealingWarmRestarts', 'T_0': 8, 'T_mult': 1, 'batch_size': 8, 'apdrop_p': 0.3577469939031796}. Best is trial 74 with value: 0.6727080662773584.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/24_11_24-va-f1/trial_99/ArgumentsPredictor-24-11-2024_23-37.pth for epoch 45 with best va-f1: 0.5909144752428335

print(f"Best trial is {study.best_trial.number}:")
print(f"  Value: {study.best_trial.value}")
print("  Params: ")
for key, value in study.best_trial.params.items():
    print(f"    {key}: {value}")

Best trial is 44:
  Value: 0.6713492063492063
  Params: 
    n_ff_layers: 2
    ap_ff_layers0: 256
    apdrop_p: 0.3416954618666868
    optimizer: Adam
    weight_decay: 1.6064190384558352e-05
    beta1: 0.9097247322939743
    beta2: 0.9231784784660426
    lr: 0.00046352674493765455
    batch_size: 8

# Second study, same setting but ranges restricted to most promising ones 

study = optuna.create_study(direction="maximize")  
study.optimize(
    lambda trial: objective_2(trial, 
                            components_cnn_classifier, 
                            relations_cnn_classifier, 
                            abs_dataset_components, 
                            abs_dataset_relations, 
                            train_filename_to_labels,
                            val_filename_to_labels,
                            class_weights),
    n_trials=100
)

print(f"Best trial is {study.best_trial.number}:")
print(f"  Value: {study.best_trial.value}")
print("  Params: ")
for key, value in study.best_trial.params.items():
    print(f"    {key}: {value}")

Best trial is 74:
  Value: 0.6727080662773584
  Params: 
    n_ff_layers: 2
    ap_ff_layers0: 256
    c_frozen_layers_percentage: 25
    r_frozen_layers_percentage: 25
    optimizer: AdamW
    weight_decay: 9.19599933386042e-05
    beta1: 0.9209794540248918
    beta2: 0.9495871135957141
    lr: 0.0005447434007640449
    scheduler: None
    batch_size: 8
    apdrop_p: 0.3058747400043239

# Third study, using weighted random sampling 

study = optuna.create_study(direction="maximize")  
study.optimize(
    lambda trial: objective_3(trial, 
                            components_cnn_classifier, 
                            relations_cnn_classifier, 
                            abs_dataset_components, 
                            abs_dataset_relations, 
                            train_filename_to_labels,
                            val_filename_to_labels,
                            class_weights_2),
    n_trials=100
)

[I 2024-11-26 00:59:30,470] A new study created in memory with name: no-name-bc450506-8161-4eeb-981e-87b4e73149ab
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.54it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 11.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.53it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.28it/s]
[I 2024-11-26 01:11:05,926] Trial 0 finished with value: 0.5503357871625985 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 128, 'apdrop_p': 0.3512524900171586, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 25, 'optimizer': 'Adam', 'weight_decay': 2.0146034666335825e-05, 'beta1': 0.8701935681515348, 'beta2': 0.8965494324958959, 'lr': 0.0002611939559633851, 'batch_size': 4}. Best is trial 0 with value: 0.5503357871625985.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_0/ArgumentsPredictor-26-11-2024_00-59.pth for epoch 55 with best va-f1: 0.5503357871625985

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  4.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:04<00:00,  7.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:04<00:00,  7.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:04<00:00,  6.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:04<00:00,  6.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:04<00:00,  6.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.40it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:04<00:00,  6.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:04<00:00,  6.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:04<00:00,  6.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:04<00:00,  6.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:04<00:00,  6.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:04<00:00,  6.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:04<00:00,  6.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:04<00:00,  6.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:04<00:00,  6.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:04<00:00,  6.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
[I 2024-11-26 01:24:43,324] Trial 1 finished with value: 0.5922120168388825 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.45590406965032904, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 100, 'optimizer': 'Adam', 'weight_decay': 3.715834678968231e-05, 'beta1': 0.9413757518309465, 'beta2': 0.9441824064420407, 'lr': 0.00012642641420522013, 'batch_size': 8}. Best is trial 1 with value: 0.5922120168388825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_1/ArgumentsPredictor-26-11-2024_01-11.pth for epoch 77 with best va-f1: 0.5922120168388825

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
[I 2024-11-26 01:36:33,938] Trial 2 finished with value: 0.583955223880597 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'apdrop_p': 0.3570906479822567, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 0, 'optimizer': 'AdamW', 'weight_decay': 1.8753447857496167e-05, 'beta1': 0.9366878431224429, 'beta2': 0.9695093605474565, 'lr': 0.00019239773454878692, 'batch_size': 8}. Best is trial 1 with value: 0.5922120168388825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_2/ArgumentsPredictor-26-11-2024_01-24.pth for epoch 59 with best va-f1: 0.583955223880597

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.40it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.45it/s]
[I 2024-11-26 01:45:19,001] Trial 3 finished with value: 0.5907108770775054 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.46211384337526706, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 0, 'optimizer': 'Adam', 'weight_decay': 1.3078905124804033e-05, 'beta1': 0.9151092639425557, 'beta2': 0.9735459545469599, 'lr': 0.00021952357261958354, 'batch_size': 4}. Best is trial 1 with value: 0.5922120168388825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_3/ArgumentsPredictor-26-11-2024_01-36.pth for epoch 37 with best va-f1: 0.5907108770775054

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
[I 2024-11-26 01:53:35,798] Trial 4 finished with value: 0.573607427055703 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'apdrop_p': 0.3714433516166514, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 25, 'optimizer': 'AdamW', 'weight_decay': 7.903003057990072e-05, 'beta1': 0.868973188994315, 'beta2': 0.960962731867655, 'lr': 0.0002596634948251591, 'batch_size': 8}. Best is trial 1 with value: 0.5922120168388825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_4/ArgumentsPredictor-26-11-2024_01-45.pth for epoch 34 with best va-f1: 0.573607427055703

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.40it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 11.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.28it/s]
[I 2024-11-26 01:59:22,512] Trial 5 finished with value: 0.5621298270552002 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'apdrop_p': 0.32461244520752214, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 25, 'optimizer': 'Adam', 'weight_decay': 7.110801699532958e-05, 'beta1': 0.9421304866711261, 'beta2': 0.9446015909518783, 'lr': 0.0004991359034714304, 'batch_size': 4}. Best is trial 1 with value: 0.5922120168388825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_5/ArgumentsPredictor-26-11-2024_01-53.pth for epoch 16 with best va-f1: 0.5621298270552002

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.54it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.68it/s]
[I 2024-11-26 02:06:44,449] Trial 6 finished with value: 0.3720721516007533 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'apdrop_p': 0.4074165070620032, 'c_frozen_layers_percentage': 100, 'r_frozen_layers_percentage': 25, 'optimizer': 'Adam', 'weight_decay': 2.4724533137047238e-05, 'beta1': 0.8823765586332637, 'beta2': 0.9211404377901439, 'lr': 0.00012197971602186075, 'batch_size': 4}. Best is trial 1 with value: 0.5922120168388825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_6/ArgumentsPredictor-26-11-2024_01-59.pth for epoch 29 with best va-f1: 0.3720721516007533

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
[I 2024-11-26 02:19:03,466] Trial 7 finished with value: 0.5777248677248678 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.38480553621109553, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 50, 'optimizer': 'Adam', 'weight_decay': 1.831876960301733e-05, 'beta1': 0.9322635141034082, 'beta2': 0.9551338859882286, 'lr': 0.00015696926937826776, 'batch_size': 8}. Best is trial 1 with value: 0.5922120168388825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_7/ArgumentsPredictor-26-11-2024_02-06.pth for epoch 62 with best va-f1: 0.5777248677248678

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
[I 2024-11-26 02:32:58,946] Trial 8 finished with value: 0.5821048321048321 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'apdrop_p': 0.35578228475422297, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 25, 'optimizer': 'AdamW', 'weight_decay': 2.5252623737556313e-05, 'beta1': 0.8332797461208759, 'beta2': 0.8519664790073932, 'lr': 0.00021386558863980634, 'batch_size': 8}. Best is trial 1 with value: 0.5922120168388825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_8/ArgumentsPredictor-26-11-2024_02-19.pth for epoch 73 with best va-f1: 0.5821048321048321

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
[I 2024-11-26 02:40:13,551] Trial 9 finished with value: 0.5683796451288918 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.32498069264896345, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 25, 'optimizer': 'Adam', 'weight_decay': 8.229471220683055e-05, 'beta1': 0.90236758819996, 'beta2': 0.9347651940638084, 'lr': 0.0003606320780610396, 'batch_size': 8}. Best is trial 1 with value: 0.5922120168388825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_9/ArgumentsPredictor-26-11-2024_02-32.pth for epoch 27 with best va-f1: 0.5683796451288918

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:04<00:00,  6.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:04<00:00,  6.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:04<00:00,  6.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:04<00:00,  6.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:04<00:00,  6.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:04<00:00,  6.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:04<00:00,  6.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:04<00:00,  6.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:04<00:00,  6.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:04<00:00,  6.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:04<00:00,  6.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:04<00:00,  6.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:04<00:00,  6.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
[I 2024-11-26 02:45:16,411] Trial 10 finished with value: 0.38468949970913324 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.48705358841919655, 'c_frozen_layers_percentage': 100, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 4.269316532495401e-05, 'beta1': 0.9771013205409187, 'beta2': 0.99891861533436, 'lr': 0.0009627286338560896, 'batch_size': 8}. Best is trial 1 with value: 0.5922120168388825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_10/ArgumentsPredictor-26-11-2024_02-40.pth for epoch 15 with best va-f1: 0.38468949970913324

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.40it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.53it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.53it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.40it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.53it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.68it/s]
[I 2024-11-26 02:59:22,760] Trial 11 finished with value: 0.5707225017972681 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.47291980461314853, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 0, 'optimizer': 'Adam', 'weight_decay': 1.1315115877193858e-05, 'beta1': 0.9864538570229484, 'beta2': 0.9949937677322803, 'lr': 0.00012129156029127274, 'batch_size': 4}. Best is trial 1 with value: 0.5922120168388825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_11/ArgumentsPredictor-26-11-2024_02-45.pth for epoch 73 with best va-f1: 0.5707225017972681

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.35it/s]
[I 2024-11-26 03:07:24,856] Trial 12 finished with value: 0.6027830487033523 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.44117781983128396, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'Adam', 'weight_decay': 4.123583479833903e-05, 'beta1': 0.9129969819776976, 'beta2': 0.9769574995238928, 'lr': 0.0003738144240274496, 'batch_size': 4}. Best is trial 12 with value: 0.6027830487033523.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_12/ArgumentsPredictor-26-11-2024_02-59.pth for epoch 34 with best va-f1: 0.6027830487033523

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.40it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.98it/s]
[I 2024-11-26 03:16:08,359] Trial 13 finished with value: 0.6101132686084143 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.43261428635027, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'Adam', 'weight_decay': 4.239755485820658e-05, 'beta1': 0.9588928203955179, 'beta2': 0.9877820162330532, 'lr': 0.00048036291419414006, 'batch_size': 4}. Best is trial 13 with value: 0.6101132686084143.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_13/ArgumentsPredictor-26-11-2024_03-07.pth for epoch 39 with best va-f1: 0.6101132686084143

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.35it/s]
[I 2024-11-26 03:22:46,549] Trial 14 finished with value: 0.5956837871287128 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.42558375866334547, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'Adam', 'weight_decay': 5.14108270274788e-05, 'beta1': 0.9628593795940403, 'beta2': 0.9869312193798244, 'lr': 0.0005495545179678816, 'batch_size': 4}. Best is trial 13 with value: 0.6101132686084143.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_14/ArgumentsPredictor-26-11-2024_03-16.pth for epoch 24 with best va-f1: 0.5956837871287128

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.86it/s]
[I 2024-11-26 03:32:47,464] Trial 15 finished with value: 0.582790402034006 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.42988858244243966, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'Adam', 'weight_decay': 5.360922964903842e-05, 'beta1': 0.8047386873641198, 'beta2': 0.876191157687778, 'lr': 0.0004088874611478059, 'batch_size': 4}. Best is trial 13 with value: 0.6101132686084143.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_15/ArgumentsPredictor-26-11-2024_03-22.pth for epoch 48 with best va-f1: 0.582790402034006

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.53it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.34it/s]
[I 2024-11-26 03:40:07,149] Trial 16 finished with value: 0.5922675521821632 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.43010110476719116, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'Adam', 'weight_decay': 3.431122332406235e-05, 'beta1': 0.9110600575851472, 'beta2': 0.9819860741686323, 'lr': 0.000721086675972, 'batch_size': 4}. Best is trial 13 with value: 0.6101132686084143.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_16/ArgumentsPredictor-26-11-2024_03-32.pth for epoch 29 with best va-f1: 0.5922675521821632

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 11.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.40it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.82it/s]
[I 2024-11-26 03:46:17,895] Trial 17 finished with value: 0.5614035087719298 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.4484907432391921, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 50, 'optimizer': 'Adam', 'weight_decay': 5.910181173909643e-05, 'beta1': 0.9584895029960347, 'beta2': 0.9887827025013906, 'lr': 0.0006215981958115031, 'batch_size': 4}. Best is trial 13 with value: 0.6101132686084143.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_17/ArgumentsPredictor-26-11-2024_03-40.pth for epoch 19 with best va-f1: 0.5614035087719298

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.81it/s]
[I 2024-11-26 03:53:21,777] Trial 18 finished with value: 0.5814519603619129 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.4991269235928437, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 2.836842351686879e-05, 'beta1': 0.8453932064480996, 'beta2': 0.9162520678595588, 'lr': 0.0004439568325296368, 'batch_size': 4}. Best is trial 13 with value: 0.6101132686084143.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_18/ArgumentsPredictor-26-11-2024_03-46.pth for epoch 27 with best va-f1: 0.5814519603619129

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.53it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.92it/s]
[I 2024-11-26 04:01:43,836] Trial 19 finished with value: 0.5919489007724301 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.4055790232345078, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'Adam', 'weight_decay': 4.2713982434635105e-05, 'beta1': 0.9645435085924691, 'beta2': 0.9830933346951287, 'lr': 0.00029420983024936305, 'batch_size': 4}. Best is trial 13 with value: 0.6101132686084143.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_19/ArgumentsPredictor-26-11-2024_03-53.pth for epoch 36 with best va-f1: 0.5919489007724301

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.67it/s]
[I 2024-11-26 04:08:05,938] Trial 20 finished with value: 0.5862878787878788 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.3932204680491579, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 100, 'optimizer': 'Adam', 'weight_decay': 3.968029656186495e-05, 'beta1': 0.9199829190914653, 'beta2': 0.9744382019776503, 'lr': 0.000801157373935461, 'batch_size': 4}. Best is trial 13 with value: 0.6101132686084143.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_20/ArgumentsPredictor-26-11-2024_04-01.pth for epoch 22 with best va-f1: 0.5862878787878788

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.24it/s]
[I 2024-11-26 04:17:20,389] Trial 21 finished with value: 0.5922120168388825 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.43020112947418043, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'Adam', 'weight_decay': 5.3541203499951056e-05, 'beta1': 0.9627497154642802, 'beta2': 0.9874272790619991, 'lr': 0.0005480715937372991, 'batch_size': 4}. Best is trial 13 with value: 0.6101132686084143.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_21/ArgumentsPredictor-26-11-2024_04-08.pth for epoch 42 with best va-f1: 0.5922120168388825

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 13.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:04<00:00, 13.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 13.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:04<00:00, 13.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 13.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 13.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 13.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 13.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:04<00:00, 13.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 13.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 13.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 13.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 13.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:04<00:00, 13.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 13.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:04<00:00, 13.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 13.53it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 13.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 13.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 13.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 13.54it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 13.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 13.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 13.53it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:04<00:00, 13.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 13.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.94it/s]
[I 2024-11-26 04:25:13,595] Trial 22 finished with value: 0.5922675521821632 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.42338950425093, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'Adam', 'weight_decay': 6.062998011929299e-05, 'beta1': 0.9507626196083205, 'beta2': 0.980662824883474, 'lr': 0.00037602055809571647, 'batch_size': 4}. Best is trial 13 with value: 0.6101132686084143.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_22/ArgumentsPredictor-26-11-2024_04-17.pth for epoch 34 with best va-f1: 0.5922675521821632

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.16it/s]
[I 2024-11-26 04:34:29,753] Trial 23 finished with value: 0.5811389071757735 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.4443430223616018, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'Adam', 'weight_decay': 9.252449747690076e-05, 'beta1': 0.9897846605308158, 'beta2': 0.9986310493824831, 'lr': 0.0005507339926934337, 'batch_size': 4}. Best is trial 13 with value: 0.6101132686084143.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_23/ArgumentsPredictor-26-11-2024_04-25.pth for epoch 43 with best va-f1: 0.5811389071757735

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.91it/s]
[I 2024-11-26 04:45:27,766] Trial 24 finished with value: 0.569047619047619 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.41324319333158105, 'c_frozen_layers_percentage': 100, 'r_frozen_layers_percentage': 50, 'optimizer': 'Adam', 'weight_decay': 4.5018908305032616e-05, 'beta1': 0.8904901847470884, 'beta2': 0.9638199153677226, 'lr': 0.0006796438789405776, 'batch_size': 4}. Best is trial 13 with value: 0.6101132686084143.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_24/ArgumentsPredictor-26-11-2024_04-34.pth for epoch 55 with best va-f1: 0.569047619047619

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.17it/s]
[I 2024-11-26 04:56:17,419] Trial 25 finished with value: 0.5853960396039604 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.47194252805454184, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'Adam', 'weight_decay': 3.137321213837886e-05, 'beta1': 0.9730962070523727, 'beta2': 0.9907023665375366, 'lr': 0.0003324784836822203, 'batch_size': 4}. Best is trial 13 with value: 0.6101132686084143.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_25/ArgumentsPredictor-26-11-2024_04-45.pth for epoch 54 with best va-f1: 0.5853960396039604

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.01it/s]
[I 2024-11-26 05:01:48,124] Trial 26 finished with value: 0.5991666666666666 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.4395765629627177, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 4.721980351179832e-05, 'beta1': 0.9241770770481615, 'beta2': 0.9775085433217398, 'lr': 0.00044712764086029307, 'batch_size': 4}. Best is trial 13 with value: 0.6101132686084143.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_26/ArgumentsPredictor-26-11-2024_04-56.pth for epoch 16 with best va-f1: 0.5991666666666666

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.46it/s]
[I 2024-11-26 05:08:07,865] Trial 27 finished with value: 0.5929125376992676 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.4399531225637789, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 6.841151913968517e-05, 'beta1': 0.9225964529944173, 'beta2': 0.9771027214093643, 'lr': 0.00044361913463986254, 'batch_size': 4}. Best is trial 13 with value: 0.6101132686084143.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_27/ArgumentsPredictor-26-11-2024_05-01.pth for epoch 22 with best va-f1: 0.5929125376992676

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.95it/s]
[I 2024-11-26 05:16:44,090] Trial 28 finished with value: 0.5948979591836735 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.4702919627325488, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 4.774426675697322e-05, 'beta1': 0.9005270336909015, 'beta2': 0.967645997106518, 'lr': 0.00031128255206454097, 'batch_size': 4}. Best is trial 13 with value: 0.6101132686084143.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_28/ArgumentsPredictor-26-11-2024_05-08.pth for epoch 38 with best va-f1: 0.5948979591836735

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.53it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.40it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.91it/s]
[I 2024-11-26 05:26:28,063] Trial 29 finished with value: 0.573618700667881 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 128, 'apdrop_p': 0.38924065196889235, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 50, 'optimizer': 'AdamW', 'weight_decay': 3.103084815383864e-05, 'beta1': 0.8726327669878318, 'beta2': 0.9541407315617288, 'lr': 0.00025042647533193136, 'batch_size': 4}. Best is trial 13 with value: 0.6101132686084143.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_29/ArgumentsPredictor-26-11-2024_05-16.pth for epoch 43 with best va-f1: 0.573618700667881

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.53it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.23it/s]
[I 2024-11-26 05:33:47,701] Trial 30 finished with value: 0.5611296645854508 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.48402304055896833, 'c_frozen_layers_percentage': 100, 'r_frozen_layers_percentage': 0, 'optimizer': 'AdamW', 'weight_decay': 2.2733069848804245e-05, 'beta1': 0.9285017425012683, 'beta2': 0.9767793396373049, 'lr': 0.0004928363826014453, 'batch_size': 4}. Best is trial 13 with value: 0.6101132686084143.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_30/ArgumentsPredictor-26-11-2024_05-26.pth for epoch 29 with best va-f1: 0.5611296645854508

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.53it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.36it/s]
[I 2024-11-26 05:41:07,238] Trial 31 finished with value: 0.59565649867374 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.4182732306252239, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'Adam', 'weight_decay': 4.940784748852393e-05, 'beta1': 0.9485133453926493, 'beta2': 0.986330111169565, 'lr': 0.0005805619063647965, 'batch_size': 4}. Best is trial 13 with value: 0.6101132686084143.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_31/ArgumentsPredictor-26-11-2024_05-33.pth for epoch 29 with best va-f1: 0.59565649867374

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.08it/s]
[I 2024-11-26 05:48:27,800] Trial 32 finished with value: 0.5932526525198939 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.45367345215036203, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 3.645377048910471e-05, 'beta1': 0.9551728080634365, 'beta2': 0.9930982702258725, 'lr': 0.00041153821453534677, 'batch_size': 4}. Best is trial 13 with value: 0.6101132686084143.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_32/ArgumentsPredictor-26-11-2024_05-41.pth for epoch 29 with best va-f1: 0.5932526525198939

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.53it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.79it/s]
[I 2024-11-26 06:01:10,426] Trial 33 finished with value: 0.5979166666666667 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.4348518088415876, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'Adam', 'weight_decay': 6.141996342483908e-05, 'beta1': 0.9359087769504751, 'beta2': 0.9849123088039196, 'lr': 0.00010005625135262187, 'batch_size': 4}. Best is trial 13 with value: 0.6101132686084143.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_33/ArgumentsPredictor-26-11-2024_05-48.pth for epoch 67 with best va-f1: 0.5979166666666667

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.40it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.10it/s]
[I 2024-11-26 06:13:28,295] Trial 34 finished with value: 0.5881180223285487 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.4381707856395685, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'Adam', 'weight_decay': 6.296210350186136e-05, 'beta1': 0.9350805399550456, 'beta2': 0.972031068733278, 'lr': 0.00016306135668524201, 'batch_size': 4}. Best is trial 13 with value: 0.6101132686084143.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_34/ArgumentsPredictor-26-11-2024_06-01.pth for epoch 64 with best va-f1: 0.5881180223285487

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.54it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.54it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.08it/s]
[I 2024-11-26 06:22:52,478] Trial 35 finished with value: 0.5892857142857143 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.4612150278833006, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 3.590885164511043e-05, 'beta1': 0.9080882134290442, 'beta2': 0.9679706286608802, 'lr': 0.0002849529800366941, 'batch_size': 4}. Best is trial 13 with value: 0.6101132686084143.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_35/ArgumentsPredictor-26-11-2024_06-13.pth for epoch 43 with best va-f1: 0.5892857142857143

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
[I 2024-11-26 06:32:22,520] Trial 36 finished with value: 0.4824677230046948 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.37377451824229274, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 0, 'optimizer': 'Adam', 'weight_decay': 9.926800294619278e-05, 'beta1': 0.941851868638451, 'beta2': 0.9791192230319514, 'lr': 0.00010891922267573116, 'batch_size': 8}. Best is trial 13 with value: 0.6101132686084143.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_36/ArgumentsPredictor-26-11-2024_06-22.pth for epoch 42 with best va-f1: 0.4824677230046948

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.40it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.40it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.81it/s]
[I 2024-11-26 06:43:10,198] Trial 37 finished with value: 0.585204081632653 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 128, 'apdrop_p': 0.45239239759180544, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 7.360943670011225e-05, 'beta1': 0.9240170357021635, 'beta2': 0.9841633643999782, 'lr': 0.0003500348214742284, 'batch_size': 4}. Best is trial 13 with value: 0.6101132686084143.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_37/ArgumentsPredictor-26-11-2024_06-32.pth for epoch 53 with best va-f1: 0.585204081632653

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.26it/s]
[I 2024-11-26 06:52:05,404] Trial 38 finished with value: 0.5781951817068192 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.30376210347695237, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'Adam', 'weight_decay': 5.992491199233952e-05, 'beta1': 0.8905360851551538, 'beta2': 0.9571718691492991, 'lr': 0.000169013052200124, 'batch_size': 4}. Best is trial 13 with value: 0.6101132686084143.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_38/ArgumentsPredictor-26-11-2024_06-43.pth for epoch 40 with best va-f1: 0.5781951817068192

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
[I 2024-11-26 07:03:19,232] Trial 39 finished with value: 0.5765954741927282 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 128, 'apdrop_p': 0.4396333324683627, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 0, 'optimizer': 'Adam', 'weight_decay': 3.8744601802605965e-05, 'beta1': 0.9441909459891358, 'beta2': 0.977428860329171, 'lr': 0.00022166623787899772, 'batch_size': 8}. Best is trial 13 with value: 0.6101132686084143.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_39/ArgumentsPredictor-26-11-2024_06-52.pth for epoch 54 with best va-f1: 0.5765954741927282

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.54it/s]
[I 2024-11-26 07:14:42,463] Trial 40 finished with value: 0.5676691729323308 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.401646158671845, 'c_frozen_layers_percentage': 100, 'r_frozen_layers_percentage': 25, 'optimizer': 'AdamW', 'weight_decay': 8.10799785400538e-05, 'beta1': 0.9127491814618224, 'beta2': 0.9632243787430388, 'lr': 0.0004746874031608342, 'batch_size': 4}. Best is trial 13 with value: 0.6101132686084143.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_40/ArgumentsPredictor-26-11-2024_07-03.pth for epoch 57 with best va-f1: 0.5676691729323308

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  8.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  9.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.02it/s]
[I 2024-11-26 07:21:15,092] Trial 41 finished with value: 0.5841991341991342 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.42113765360143185, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'Adam', 'weight_decay': 5.234544920845682e-05, 'beta1': 0.9735015290713067, 'beta2': 0.984721231724494, 'lr': 0.0005136738667592552, 'batch_size': 4}. Best is trial 13 with value: 0.6101132686084143.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_41/ArgumentsPredictor-26-11-2024_07-14.pth for epoch 18 with best va-f1: 0.5841991341991342

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.94it/s]
[I 2024-11-26 07:28:36,773] Trial 42 finished with value: 0.5916666666666667 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.4097592071512047, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'Adam', 'weight_decay': 4.4973948017869764e-05, 'beta1': 0.9353478877015066, 'beta2': 0.9719438912842175, 'lr': 0.0006360773470669418, 'batch_size': 4}. Best is trial 13 with value: 0.6101132686084143.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_42/ArgumentsPredictor-26-11-2024_07-21.pth for epoch 29 with best va-f1: 0.5916666666666667

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.97it/s]
[I 2024-11-26 07:36:41,956] Trial 43 finished with value: 0.595282205945713 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.4580147260276348, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'Adam', 'weight_decay': 4.06921793655019e-05, 'beta1': 0.9687110869892915, 'beta2': 0.9897405097755526, 'lr': 0.0004180507824028486, 'batch_size': 4}. Best is trial 13 with value: 0.6101132686084143.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_43/ArgumentsPredictor-26-11-2024_07-28.pth for epoch 34 with best va-f1: 0.595282205945713

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.54it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.28it/s]
[I 2024-11-26 07:42:14,918] Trial 44 finished with value: 0.5734567901234568 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.4314271144952566, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 100, 'optimizer': 'Adam', 'weight_decay': 5.520920546020652e-05, 'beta1': 0.955950629146415, 'beta2': 0.9917228189491125, 'lr': 0.0008139164276087281, 'batch_size': 4}. Best is trial 13 with value: 0.6101132686084143.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_44/ArgumentsPredictor-26-11-2024_07-36.pth for epoch 16 with best va-f1: 0.5734567901234568

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
[I 2024-11-26 07:51:46,530] Trial 45 finished with value: 0.573501110288675 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.4179968843070782, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 25, 'optimizer': 'Adam', 'weight_decay': 6.744400160182394e-05, 'beta1': 0.9831515332983459, 'beta2': 0.987610181632973, 'lr': 0.00038399264337229114, 'batch_size': 8}. Best is trial 13 with value: 0.6101132686084143.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_45/ArgumentsPredictor-26-11-2024_07-42.pth for epoch 42 with best va-f1: 0.573501110288675

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.54it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 11.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.83it/s]
[I 2024-11-26 08:00:33,671] Trial 46 finished with value: 0.5736551616915423 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.4471494473394178, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 50, 'optimizer': 'Adam', 'weight_decay': 1.581500289575905e-05, 'beta1': 0.9295748167354752, 'beta2': 0.9962294752104117, 'lr': 0.00013747159098716094, 'batch_size': 4}. Best is trial 13 with value: 0.6101132686084143.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_46/ArgumentsPredictor-26-11-2024_07-51.pth for epoch 36 with best va-f1: 0.5736551616915423

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.53it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.92it/s]
[I 2024-11-26 08:12:38,498] Trial 47 finished with value: 0.58203214695752 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.39780367313664977, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'Adam', 'weight_decay': 2.749796334161599e-05, 'beta1': 0.9423922537618241, 'beta2': 0.9800033763016361, 'lr': 0.00025565992580119725, 'batch_size': 4}. Best is trial 13 with value: 0.6101132686084143.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_47/ArgumentsPredictor-26-11-2024_08-00.pth for epoch 62 with best va-f1: 0.58203214695752

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
[I 2024-11-26 08:18:32,228] Trial 48 finished with value: 0.5900197628458498 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.4655893450640364, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 100, 'optimizer': 'Adam', 'weight_decay': 4.815384575990933e-05, 'beta1': 0.901860752601296, 'beta2': 0.9442386684749949, 'lr': 0.0009940406795351327, 'batch_size': 8}. Best is trial 13 with value: 0.6101132686084143.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_48/ArgumentsPredictor-26-11-2024_08-12.pth for epoch 19 with best va-f1: 0.5900197628458498

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.54it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.76it/s]
[I 2024-11-26 08:23:50,195] Trial 49 finished with value: 0.6005952380952381 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.37631622691189714, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 3.20341549731976e-05, 'beta1': 0.9181784353211299, 'beta2': 0.9950376754355699, 'lr': 0.00047427980362386204, 'batch_size': 4}. Best is trial 13 with value: 0.6101132686084143.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_49/ArgumentsPredictor-26-11-2024_08-18.pth for epoch 14 with best va-f1: 0.6005952380952381

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.54it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.45it/s]
[I 2024-11-26 08:37:51,597] Trial 50 finished with value: 0.5831746031746032 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 128, 'apdrop_p': 0.37534177633537236, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 25, 'optimizer': 'AdamW', 'weight_decay': 3.325930119728429e-05, 'beta1': 0.8782004472469348, 'beta2': 0.9266106669274942, 'lr': 0.00018614957195916428, 'batch_size': 4}. Best is trial 13 with value: 0.6101132686084143.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_50/ArgumentsPredictor-26-11-2024_08-23.pth for epoch 71 with best va-f1: 0.5831746031746032

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.30it/s]
[I 2024-11-26 08:44:17,175] Trial 51 finished with value: 0.5897244546498278 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.3440640104574294, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 2.8240524753221955e-05, 'beta1': 0.9157895238571155, 'beta2': 0.9946613431287167, 'lr': 0.0004629978366044577, 'batch_size': 4}. Best is trial 13 with value: 0.6101132686084143.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_51/ArgumentsPredictor-26-11-2024_08-37.pth for epoch 22 with best va-f1: 0.5897244546498278

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.54it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.85it/s]
[I 2024-11-26 08:49:26,387] Trial 52 finished with value: 0.6034962871287128 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.3639615407713756, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 4.2960233664036615e-05, 'beta1': 0.9225494963984997, 'beta2': 0.9838484364234077, 'lr': 0.0005352771412115313, 'batch_size': 4}. Best is trial 13 with value: 0.6101132686084143.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_52/ArgumentsPredictor-26-11-2024_08-44.pth for epoch 13 with best va-f1: 0.6034962871287128

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.40it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.53it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.01it/s]
[I 2024-11-26 08:57:35,275] Trial 53 finished with value: 0.5172444925966052 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.3662059140045434, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 4.2788815125330444e-05, 'beta1': 0.8579852258107593, 'beta2': 0.9526190808127278, 'lr': 0.0003706570239598594, 'batch_size': 4}. Best is trial 13 with value: 0.6101132686084143.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_53/ArgumentsPredictor-26-11-2024_08-49.pth for epoch 34 with best va-f1: 0.5172444925966052

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.74it/s]
[I 2024-11-26 09:04:27,686] Trial 54 finished with value: 0.5881180223285487 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.35200059025585173, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 3.791823258791196e-05, 'beta1': 0.9188002979926992, 'beta2': 0.9739650564492798, 'lr': 0.0005254335483544314, 'batch_size': 4}. Best is trial 13 with value: 0.6101132686084143.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_54/ArgumentsPredictor-26-11-2024_08-57.pth for epoch 25 with best va-f1: 0.5881180223285487

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.76it/s]
[I 2024-11-26 09:09:37,902] Trial 55 finished with value: 0.5975925925925926 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.3446641505410738, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 3.3063343941448786e-05, 'beta1': 0.8971552261462827, 'beta2': 0.9987433411821686, 'lr': 0.0006124111463155856, 'batch_size': 4}. Best is trial 13 with value: 0.6101132686084143.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_55/ArgumentsPredictor-26-11-2024_09-04.pth for epoch 13 with best va-f1: 0.5975925925925926

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.37it/s]
[I 2024-11-26 09:16:03,307] Trial 56 finished with value: 0.5833333333333333 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.38195398806738456, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 2.0627072534746937e-05, 'beta1': 0.9094199756047405, 'beta2': 0.9838280124969089, 'lr': 0.00043524902577668164, 'batch_size': 4}. Best is trial 13 with value: 0.6101132686084143.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_56/ArgumentsPredictor-26-11-2024_09-09.pth for epoch 22 with best va-f1: 0.5833333333333333

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.53it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.54it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.06it/s]
[I 2024-11-26 09:27:09,352] Trial 57 finished with value: 0.5610047846889952 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.36505579666194155, 'c_frozen_layers_percentage': 100, 'r_frozen_layers_percentage': 0, 'optimizer': 'AdamW', 'weight_decay': 4.688511732740468e-05, 'beta1': 0.9302180792294145, 'beta2': 0.9822229189630588, 'lr': 0.00033065822350912864, 'batch_size': 4}. Best is trial 13 with value: 0.6101132686084143.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_57/ArgumentsPredictor-26-11-2024_09-16.pth for epoch 54 with best va-f1: 0.5610047846889952

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.04it/s]
[I 2024-11-26 09:33:19,448] Trial 58 finished with value: 0.6157108382426006 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.33231759036144487, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 5.6054464892406386e-05, 'beta1': 0.9063906385988648, 'beta2': 0.9926019235267755, 'lr': 0.0007506327465839405, 'batch_size': 4}. Best is trial 58 with value: 0.6157108382426006.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_58/ArgumentsPredictor-26-11-2024_09-27.pth for epoch 20 with best va-f1: 0.6157108382426006

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
[I 2024-11-26 09:40:24,277] Trial 59 finished with value: 0.6042415528396836 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.3319060815764229, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 50, 'optimizer': 'AdamW', 'weight_decay': 4.0700457485078113e-05, 'beta1': 0.8851550016733533, 'beta2': 0.9038758592640512, 'lr': 0.0008042229118890132, 'batch_size': 8}. Best is trial 58 with value: 0.6157108382426006.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_59/ArgumentsPredictor-26-11-2024_09-33.pth for epoch 25 with best va-f1: 0.6042415528396836

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
[I 2024-11-26 09:47:28,186] Trial 60 finished with value: 0.594626168224299 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.32907285022154337, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 50, 'optimizer': 'AdamW', 'weight_decay': 4.083247232396394e-05, 'beta1': 0.861166005302685, 'beta2': 0.8850927364790598, 'lr': 0.000856433400615285, 'batch_size': 8}. Best is trial 58 with value: 0.6157108382426006.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_60/ArgumentsPredictor-26-11-2024_09-40.pth for epoch 25 with best va-f1: 0.594626168224299

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
[I 2024-11-26 09:54:07,509] Trial 61 finished with value: 0.5892857142857143 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.3327043993492536, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 50, 'optimizer': 'AdamW', 'weight_decay': 3.052527862900446e-05, 'beta1': 0.8897558043172541, 'beta2': 0.9375456663811934, 'lr': 0.0008977607210619637, 'batch_size': 8}. Best is trial 58 with value: 0.6157108382426006.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_61/ArgumentsPredictor-26-11-2024_09-47.pth for epoch 22 with best va-f1: 0.5892857142857143

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
[I 2024-11-26 10:01:20,798] Trial 62 finished with value: 0.576007326007326 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.3101295145325213, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 50, 'optimizer': 'AdamW', 'weight_decay': 5.6604091273923494e-05, 'beta1': 0.8840166908752866, 'beta2': 0.89982021027769, 'lr': 0.000731836698022867, 'batch_size': 8}. Best is trial 58 with value: 0.6157108382426006.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_62/ArgumentsPredictor-26-11-2024_09-54.pth for epoch 26 with best va-f1: 0.576007326007326

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
[I 2024-11-26 10:08:00,519] Trial 63 finished with value: 0.5933426629348261 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.3203861883112419, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 50, 'optimizer': 'AdamW', 'weight_decay': 3.583968892913904e-05, 'beta1': 0.9062951103290269, 'beta2': 0.9964158457964761, 'lr': 0.0007402321882196666, 'batch_size': 8}. Best is trial 58 with value: 0.6157108382426006.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_63/ArgumentsPredictor-26-11-2024_10-01.pth for epoch 22 with best va-f1: 0.5933426629348261

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
[I 2024-11-26 10:15:31,557] Trial 64 finished with value: 0.6836996336996336 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.341030630177339, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 4.4896158653918235e-05, 'beta1': 0.9238122541838326, 'beta2': 0.9927992893673886, 'lr': 0.0006771555860501967, 'batch_size': 8}. Best is trial 64 with value: 0.6836996336996336.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_64/ArgumentsPredictor-26-11-2024_10-08.pth for epoch 30 with best va-f1: 0.6836996336996336

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.77it/s]
[I 2024-11-26 10:22:38,444] Trial 65 finished with value: 0.5913429888084266 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.33899198008973014, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 50, 'optimizer': 'AdamW', 'weight_decay': 4.3682321541270477e-05, 'beta1': 0.916756528271259, 'beta2': 0.9495223690725028, 'lr': 0.0006830400723946081, 'batch_size': 8}. Best is trial 64 with value: 0.6836996336996336.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_65/ArgumentsPredictor-26-11-2024_10-15.pth for epoch 25 with best va-f1: 0.5913429888084266

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
[I 2024-11-26 10:28:27,426] Trial 66 finished with value: 0.579135737009544 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.35944629927187516, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 4.970912899570765e-05, 'beta1': 0.8960204008772754, 'beta2': 0.9923972326176563, 'lr': 0.0005770744713982988, 'batch_size': 8}. Best is trial 64 with value: 0.6836996336996336.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_66/ArgumentsPredictor-26-11-2024_10-22.pth for epoch 18 with best va-f1: 0.579135737009544

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  4.53it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.83it/s]
[I 2024-11-26 10:35:16,887] Trial 67 finished with value: 0.5945592189047686 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.3205010441595682, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 2.5840575782871424e-05, 'beta1': 0.8836325363546308, 'beta2': 0.9088923226957507, 'lr': 0.0006659220095453158, 'batch_size': 8}. Best is trial 64 with value: 0.6836996336996336.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_67/ArgumentsPredictor-26-11-2024_10-28.pth for epoch 24 with best va-f1: 0.5945592189047686

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
[I 2024-11-26 10:41:42,694] Trial 68 finished with value: 0.6105820105820106 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.3384849952207612, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 4.081143934630299e-05, 'beta1': 0.9042529615466619, 'beta2': 0.9908550549812407, 'lr': 0.0007745202085398099, 'batch_size': 8}. Best is trial 64 with value: 0.6836996336996336.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_68/ArgumentsPredictor-26-11-2024_10-35.pth for epoch 22 with best va-f1: 0.6105820105820106

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:04<00:00,  6.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
[I 2024-11-26 10:46:39,356] Trial 69 finished with value: 0.39040832503186695 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.33851298734973884, 'c_frozen_layers_percentage': 100, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 4.076542806995e-05, 'beta1': 0.904738507769391, 'beta2': 0.9894444990107691, 'lr': 0.0007888736787864747, 'batch_size': 8}. Best is trial 64 with value: 0.6836996336996336.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_69/ArgumentsPredictor-26-11-2024_10-41.pth for epoch 13 with best va-f1: 0.39040832503186695

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
[I 2024-11-26 10:53:03,217] Trial 70 finished with value: 0.5787721621422791 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.3126254336567761, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 25, 'optimizer': 'AdamW', 'weight_decay': 5.242557173605649e-05, 'beta1': 0.8765765778114155, 'beta2': 0.8829893052184435, 'lr': 0.000768531762678433, 'batch_size': 8}. Best is trial 64 with value: 0.6836996336996336.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_70/ArgumentsPredictor-26-11-2024_10-46.pth for epoch 20 with best va-f1: 0.5787721621422791

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.54it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
[I 2024-11-26 11:00:06,109] Trial 71 finished with value: 0.6010895024487188 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.34658345665972395, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 3.7648456390448446e-05, 'beta1': 0.9253190344189198, 'beta2': 0.9947884111040504, 'lr': 0.0005896296868200233, 'batch_size': 8}. Best is trial 64 with value: 0.6836996336996336.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_71/ArgumentsPredictor-26-11-2024_10-53.pth for epoch 26 with best va-f1: 0.6010895024487188

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
[I 2024-11-26 11:05:39,104] Trial 72 finished with value: 0.6085796683489546 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.35244556960100787, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 3.783173204078701e-05, 'beta1': 0.9241534443226518, 'beta2': 0.9929161411711027, 'lr': 0.0009209677492203199, 'batch_size': 8}. Best is trial 64 with value: 0.6836996336996336.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_72/ArgumentsPredictor-26-11-2024_11-00.pth for epoch 16 with best va-f1: 0.6085796683489546

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.87it/s]
[I 2024-11-26 11:13:05,405] Trial 73 finished with value: 0.5707411957411958 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.3357021052629852, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 3.484320593317467e-05, 'beta1': 0.8074045151667324, 'beta2': 0.8374465605730648, 'lr': 0.000895117981379822, 'batch_size': 8}. Best is trial 64 with value: 0.6836996336996336.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_73/ArgumentsPredictor-26-11-2024_11-05.pth for epoch 29 with best va-f1: 0.5707411957411958

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
[I 2024-11-26 11:17:32,026] Trial 74 finished with value: 0.6373106060606061 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.3273208774729403, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 4.559096471100728e-05, 'beta1': 0.9114466610658986, 'beta2': 0.9878343099551261, 'lr': 0.0009249026134316304, 'batch_size': 8}. Best is trial 64 with value: 0.6836996336996336.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_74/ArgumentsPredictor-26-11-2024_11-13.pth for epoch 8 with best va-f1: 0.6373106060606061

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.80it/s]
[I 2024-11-26 11:22:06,220] Trial 75 finished with value: 0.6053588839720992 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.3272240116092047, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 4.508447604182906e-05, 'beta1': 0.8994954681784297, 'beta2': 0.988096963445808, 'lr': 0.0009389287229566017, 'batch_size': 8}. Best is trial 64 with value: 0.6836996336996336.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_75/ArgumentsPredictor-26-11-2024_11-17.pth for epoch 9 with best va-f1: 0.6053588839720992

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
[I 2024-11-26 11:27:57,117] Trial 76 finished with value: 0.6076860841423948 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.3170792308460737, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 4.5803327349699236e-05, 'beta1': 0.8910599840280743, 'beta2': 0.9909637542114913, 'lr': 0.0009371949864771643, 'batch_size': 8}. Best is trial 64 with value: 0.6836996336996336.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_76/ArgumentsPredictor-26-11-2024_11-22.pth for epoch 18 with best va-f1: 0.6076860841423948

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  4.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.72it/s]
[I 2024-11-26 11:37:59,856] Trial 77 finished with value: 0.5775835396039604 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.32407632104458484, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 4.565419311669231e-05, 'beta1': 0.8984449379511388, 'beta2': 0.9885539557934985, 'lr': 0.0009123080002112154, 'batch_size': 8}. Best is trial 64 with value: 0.6836996336996336.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_77/ArgumentsPredictor-26-11-2024_11-27.pth for epoch 47 with best va-f1: 0.5775835396039604

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
[I 2024-11-26 11:43:00,226] Trial 78 finished with value: 0.5963636363636363 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.3139766446373834, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 5.692395231433335e-05, 'beta1': 0.8935423888736468, 'beta2': 0.9910250358316707, 'lr': 0.0009526919164310196, 'batch_size': 8}. Best is trial 64 with value: 0.6836996336996336.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_78/ArgumentsPredictor-26-11-2024_11-37.pth for epoch 12 with best va-f1: 0.5963636363636363

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.54it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
[I 2024-11-26 11:49:18,208] Trial 79 finished with value: 0.5907400092171966 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.3025549364861829, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 5.006595333933792e-05, 'beta1': 0.9105282831204369, 'beta2': 0.9865494241287857, 'lr': 0.0008458160422082524, 'batch_size': 8}. Best is trial 64 with value: 0.6836996336996336.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_79/ArgumentsPredictor-26-11-2024_11-43.pth for epoch 21 with best va-f1: 0.5907400092171966

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
[I 2024-11-26 11:56:08,265] Trial 80 finished with value: 0.6058700209643606 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.3261403622996103, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 6.650659110777765e-05, 'beta1': 0.8686073644327778, 'beta2': 0.9979218642390176, 'lr': 0.0009357336007267243, 'batch_size': 8}. Best is trial 64 with value: 0.6836996336996336.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_80/ArgumentsPredictor-26-11-2024_11-49.pth for epoch 25 with best va-f1: 0.6058700209643606

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.54it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
[I 2024-11-26 12:04:50,167] Trial 81 finished with value: 0.5894236482471776 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.32644859479571176, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 6.429841444061767e-05, 'beta1': 0.8392565378091061, 'beta2': 0.9672640223623886, 'lr': 0.0009469305965142675, 'batch_size': 8}. Best is trial 64 with value: 0.6836996336996336.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_81/ArgumentsPredictor-26-11-2024_11-56.pth for epoch 38 with best va-f1: 0.5894236482471776

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  4.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
[I 2024-11-26 12:11:07,633] Trial 82 finished with value: 0.6059715346534653 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.3180687527735546, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 3.8579793242440874e-05, 'beta1': 0.9036648710190516, 'beta2': 0.992916987771114, 'lr': 0.0009963302570876432, 'batch_size': 8}. Best is trial 64 with value: 0.6836996336996336.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_82/ArgumentsPredictor-26-11-2024_12-04.pth for epoch 21 with best va-f1: 0.6059715346534653

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.83it/s]
[I 2024-11-26 12:18:00,032] Trial 83 finished with value: 0.6719793089986337 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.31725974730717305, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 7.529997847040255e-05, 'beta1': 0.8615047593072157, 'beta2': 0.9989938255997874, 'lr': 0.0008648851036148599, 'batch_size': 8}. Best is trial 64 with value: 0.6836996336996336.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_83/ArgumentsPredictor-26-11-2024_12-11.pth for epoch 25 with best va-f1: 0.6719793089986337

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  4.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.77it/s]
[I 2024-11-26 12:23:10,069] Trial 84 finished with value: 0.6035414082954388 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.3171659584296622, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 3.8942910176951204e-05, 'beta1': 0.8515250270253124, 'beta2': 0.9925709421575493, 'lr': 0.0008686169274081573, 'batch_size': 8}. Best is trial 64 with value: 0.6836996336996336.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_84/ArgumentsPredictor-26-11-2024_12-18.pth for epoch 13 with best va-f1: 0.6035414082954388

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:11<00:00,  1.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [21:41<00:00, 39.44s/it]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:05<00:00,  2.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  4.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.28it/s]
[I 2024-11-26 12:51:35,181] Trial 85 finished with value: 0.5914951245937161 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.30736093151017674, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 0, 'optimizer': 'AdamW', 'weight_decay': 3.7115223500856826e-05, 'beta1': 0.9131972760491521, 'beta2': 0.9938719841046375, 'lr': 0.0007047528166911228, 'batch_size': 8}. Best is trial 64 with value: 0.6836996336996336.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_85/ArgumentsPredictor-26-11-2024_12-23.pth for epoch 21 with best va-f1: 0.5914951245937161

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.54it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
[I 2024-11-26 12:57:18,213] Trial 86 finished with value: 0.6011014806789455 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.31909967843602094, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 8.659332323541664e-05, 'beta1': 0.8227954693419111, 'beta2': 0.9802619338173203, 'lr': 0.0007603398428492964, 'batch_size': 8}. Best is trial 64 with value: 0.6836996336996336.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_86/ArgumentsPredictor-26-11-2024_12-51.pth for epoch 17 with best va-f1: 0.6011014806789455

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
[I 2024-11-26 13:03:35,839] Trial 87 finished with value: 0.6045918367346939 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.3542680319343031, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 5.3772681750769885e-05, 'beta1': 0.9038195912926297, 'beta2': 0.9972696545962874, 'lr': 0.0008333496813479101, 'batch_size': 8}. Best is trial 64 with value: 0.6836996336996336.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_87/ArgumentsPredictor-26-11-2024_12-57.pth for epoch 21 with best va-f1: 0.6045918367346939

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
[I 2024-11-26 13:09:03,678] Trial 88 finished with value: 0.5927128427128427 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.3380497647076171, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 7.299883545680987e-05, 'beta1': 0.8882450309544843, 'beta2': 0.9899347193085103, 'lr': 0.0006537294660610217, 'batch_size': 8}. Best is trial 64 with value: 0.6836996336996336.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_88/ArgumentsPredictor-26-11-2024_13-03.pth for epoch 15 with best va-f1: 0.5927128427128427

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.85it/s]
[I 2024-11-26 13:13:59,810] Trial 89 finished with value: 0.6807382404181185 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.3466201885368211, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 7.74692447435183e-05, 'beta1': 0.8668359922566383, 'beta2': 0.9988884092491498, 'lr': 0.0006978439330087304, 'batch_size': 8}. Best is trial 64 with value: 0.6836996336996336.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_89/ArgumentsPredictor-26-11-2024_13-09.pth for epoch 11 with best va-f1: 0.6807382404181185

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
[I 2024-11-26 13:20:07,150] Trial 90 finished with value: 0.5969255663430421 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.3474170505332376, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 9.881399103150326e-05, 'beta1': 0.8646382594917182, 'beta2': 0.998789276489717, 'lr': 0.000715491132572785, 'batch_size': 8}. Best is trial 64 with value: 0.6836996336996336.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_90/ArgumentsPredictor-26-11-2024_13-13.pth for epoch 20 with best va-f1: 0.5969255663430421

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:04<00:00,  6.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.40it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.82it/s]
[I 2024-11-26 13:24:21,710] Trial 91 finished with value: 0.6006045502792007 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.34120349812808554, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 7.405526138893171e-05, 'beta1': 0.879376571608376, 'beta2': 0.9921914361765058, 'lr': 0.0009920739465862673, 'batch_size': 8}. Best is trial 64 with value: 0.6836996336996336.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_91/ArgumentsPredictor-26-11-2024_13-20.pth for epoch 6 with best va-f1: 0.6006045502792007

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  4.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:07<00:00,  4.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  4.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.74it/s]
[I 2024-11-26 13:29:05,240] Trial 92 finished with value: 0.5922897196261683 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.33406858248689525, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 4.740508489438146e-05, 'beta1': 0.8741950134691362, 'beta2': 0.986583245101969, 'lr': 0.0008744282357729036, 'batch_size': 8}. Best is trial 64 with value: 0.6836996336996336.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_92/ArgumentsPredictor-26-11-2024_13-24.pth for epoch 9 with best va-f1: 0.5922897196261683

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.81it/s]
[I 2024-11-26 13:34:19,363] Trial 93 finished with value: 0.6080542264752791 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.3084043287831789, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 8.714468637012159e-05, 'beta1': 0.8931784579002493, 'beta2': 0.9956803724379736, 'lr': 0.0008150486163760882, 'batch_size': 8}. Best is trial 64 with value: 0.6836996336996336.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_93/ArgumentsPredictor-26-11-2024_13-29.pth for epoch 13 with best va-f1: 0.6080542264752791

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.85it/s]
[I 2024-11-26 13:40:16,553] Trial 94 finished with value: 0.6128215705392634 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.30062118438154173, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 8.277772352774097e-05, 'beta1': 0.8574102138662978, 'beta2': 0.9815961069896261, 'lr': 0.0007778034130397797, 'batch_size': 8}. Best is trial 64 with value: 0.6836996336996336.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_94/ArgumentsPredictor-26-11-2024_13-34.pth for epoch 18 with best va-f1: 0.6128215705392634

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.83it/s]
[I 2024-11-26 13:46:10,937] Trial 95 finished with value: 0.5918010752688172 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.3086874283336437, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 7.788069829560131e-05, 'beta1': 0.8570255910092291, 'beta2': 0.9816687081958996, 'lr': 0.0007845081757547546, 'batch_size': 8}. Best is trial 64 with value: 0.6836996336996336.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_95/ArgumentsPredictor-26-11-2024_13-40.pth for epoch 18 with best va-f1: 0.5918010752688172

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.71it/s]
[I 2024-11-26 13:52:07,451] Trial 96 finished with value: 0.5776732133115112 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.30021144063062283, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 8.679253947281213e-05, 'beta1': 0.8453963153068791, 'beta2': 0.9750834225830958, 'lr': 0.000700223931502579, 'batch_size': 8}. Best is trial 64 with value: 0.6836996336996336.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_96/ArgumentsPredictor-26-11-2024_13-46.pth for epoch 18 with best va-f1: 0.5776732133115112

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
[I 2024-11-26 13:58:21,871] Trial 97 finished with value: 0.5968062827225131 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.3318020138808166, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 8.706005410377559e-05, 'beta1': 0.8493805459041123, 'beta2': 0.9830698507718854, 'lr': 0.0008292644721001061, 'batch_size': 8}. Best is trial 64 with value: 0.6836996336996336.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_97/ArgumentsPredictor-26-11-2024_13-52.pth for epoch 20 with best va-f1: 0.5968062827225131

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:07<00:00,  4.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:07<00:00,  4.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  4.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.45it/s]
[I 2024-11-26 14:06:06,000] Trial 98 finished with value: 0.5779761904761905 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 128, 'apdrop_p': 0.30432873394477666, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 25, 'optimizer': 'AdamW', 'weight_decay': 7.789737268973644e-05, 'beta1': 0.9484295840635164, 'beta2': 0.9966824669834485, 'lr': 0.0007389897668550761, 'batch_size': 8}. Best is trial 64 with value: 0.6836996336996336.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_98/ArgumentsPredictor-26-11-2024_13-58.pth for epoch 27 with best va-f1: 0.5779761904761905

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.81it/s]
[I 2024-11-26 14:11:19,129] Trial 99 finished with value: 0.6670368364030336 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.35015674195866325, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 9.506877915421152e-05, 'beta1': 0.8698717643153532, 'beta2': 0.9948226871650534, 'lr': 0.0006458614258779146, 'batch_size': 8}. Best is trial 64 with value: 0.6836996336996336.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/26_11_24-va-f1/trial_99/ArgumentsPredictor-26-11-2024_14-06.pth for epoch 13 with best va-f1: 0.6670368364030336

print(f"Best trial is {study.best_trial.number}:")
print(f"  Value: {study.best_trial.value}")
print("  Params: ")
for key, value in study.best_trial.params.items():
    print(f"    {key}: {value}")

Best trial is 64:
  Value: 0.6836996336996336
  Params: 
    n_ff_layers: 2
    ap_ff_layers0: 128
    apdrop_p: 0.341030630177339
    c_frozen_layers_percentage: 50
    r_frozen_layers_percentage: 100
    optimizer: AdamW
    weight_decay: 4.4896158653918235e-05
    beta1: 0.9238122541838326
    beta2: 0.9927992893673886
    lr: 0.0006771555860501967
    batch_size: 8

# Fourth and last study, this time trying to maximize f1 score on glaucoma test set

study = optuna.create_study(direction="maximize")  
study.optimize(
    lambda trial: objective_test(trial, 
                            components_cnn_classifier, 
                            relations_cnn_classifier, 
                            abs_dataset_components, 
                            abs_dataset_relations, 
                            train_filename_to_labels,
                            val_filename_to_labels,
                            class_weights_2,
                            glaucoma_collection_components, 
                            glaucoma_collection_relations, 
                            glaucoma_test_filename_to_labels),
    n_trials=100
)

[I 2024-11-27 08:43:25,837] A new study created in memory with name: no-name-95e2af6d-57fb-4988-beae-959472084937
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.50it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_0/ArgumentsPredictor-27-11-2024_08-43.pth for epoch 16 with best va-f1: 0.5626396580200136

Validating: 100%|████████████████████████████████████████████████████| 25/25 [00:02<00:00, 12.16it/s]
[I 2024-11-27 08:49:23,081] Trial 0 finished with value: 0.20739677985015142 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'apdrop_p': 0.36991248782887687, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 50, 'optimizer': 'Adam', 'weight_decay': 2.0931462305979665e-05, 'beta1': 0.95590426796304, 'beta2': 0.9987344461020755, 'lr': 0.0004194215382230791, 'batch_size': 4, 'sampler': False}. Best is trial 0 with value: 0.20739677985015142.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       1       0   
	1       0      56       5       0   
	2       0      31       2       0   
	3       0       2       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.40it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.40it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.54it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.53it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.40it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.32it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_1/ArgumentsPredictor-27-11-2024_08-49.pth for epoch 46 with best va-f1: 0.5684889434889435

Validating: 100%|████████████████████████████████████████████████████| 25/25 [00:02<00:00, 12.25it/s]
[I 2024-11-27 08:59:20,422] Trial 1 finished with value: 0.1966914805624483 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 128, 'apdrop_p': 0.4939172356868338, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'Adam', 'weight_decay': 7.950516990305485e-05, 'beta1': 0.9690068899692511, 'beta2': 0.9969643689023274, 'lr': 0.0003261121786635596, 'batch_size': 4, 'sampler': False}. Best is trial 0 with value: 0.20739677985015142.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       1       0   
	1       0      57       4       0   
	2       0      32       1       0   
	3       0       2       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_2/ArgumentsPredictor-27-11-2024_08-59.pth for epoch 45 with best va-f1: 0.5571145124716553

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:01<00:00,  6.12it/s]
[I 2024-11-27 09:09:03,097] Trial 2 finished with value: 0.19032258064516128 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'apdrop_p': 0.42074361244431313, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 7.6911739351952e-05, 'beta1': 0.9876855445347609, 'beta2': 0.9941390679329237, 'lr': 0.0006550859592447311, 'batch_size': 8, 'sampler': False}. Best is trial 0 with value: 0.20739677985015142.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      59       1       0   
	2       0      32       0       0   
	3       0       1       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_3/ArgumentsPredictor-27-11-2024_09-09.pth for epoch 33 with best va-f1: 0.5945099484156227

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:01<00:00,  6.29it/s]
[I 2024-11-27 09:16:52,538] Trial 3 finished with value: 0.22708333333333333 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'apdrop_p': 0.3509476103960322, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 100, 'optimizer': 'Adam', 'weight_decay': 3.9606813847232444e-05, 'beta1': 0.9288348579678019, 'beta2': 0.9437776942546112, 'lr': 0.0006432860502235397, 'batch_size': 8, 'sampler': True}. Best is trial 3 with value: 0.22708333333333333.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      49      11       0   
	2       0      27       5       0   
	3       0       1       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_4/ArgumentsPredictor-27-11-2024_09-16.pth for epoch 32 with best va-f1: 0.5873515024458421

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:02<00:00,  5.93it/s]
[I 2024-11-27 09:25:01,567] Trial 4 finished with value: 0.21419406575781877 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 128, 'apdrop_p': 0.4425812526557682, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 0, 'optimizer': 'Adam', 'weight_decay': 3.6752911189678583e-05, 'beta1': 0.953436269608862, 'beta2': 0.9987940000380602, 'lr': 0.0006409389267051504, 'batch_size': 8, 'sampler': False}. Best is trial 3 with value: 0.22708333333333333.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      52       8       0   
	2       0      29       3       0   
	3       0       1       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.54it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.45it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_5/ArgumentsPredictor-27-11-2024_09-25.pth for epoch 38 with best va-f1: 0.5788347597103357

Validating: 100%|████████████████████████████████████████████████████| 25/25 [00:02<00:00, 11.84it/s]
[I 2024-11-27 09:34:05,465] Trial 5 finished with value: 0.189873417721519 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'apdrop_p': 0.42472332288538384, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 0, 'optimizer': 'AdamW', 'weight_decay': 1.6061846452109306e-05, 'beta1': 0.9056976659005157, 'beta2': 0.9850010010073883, 'lr': 0.0004641965787391507, 'batch_size': 4, 'sampler': True}. Best is trial 3 with value: 0.22708333333333333.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       1       0   
	1       0      60       1       0   
	2       0      33       0       0   
	3       0       1       1       0   

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.54it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.40it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.53it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.54it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.68it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_6/ArgumentsPredictor-27-11-2024_09-34.pth for epoch 37 with best va-f1: 0.6137840346534653

Validating: 100%|████████████████████████████████████████████████████| 25/25 [00:02<00:00, 11.73it/s]
[I 2024-11-27 09:42:36,264] Trial 6 finished with value: 0.21454138702460848 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.42829978238171185, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 4.233400994425292e-05, 'beta1': 0.9585206771546261, 'beta2': 0.9737084931877593, 'lr': 0.000362205436834663, 'batch_size': 4, 'sampler': True}. Best is trial 3 with value: 0.22708333333333333.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       1       0   
	1       0      54       7       0   
	2       0      30       3       0   
	3       0       1       1       0   

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.54it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.13it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_7/ArgumentsPredictor-27-11-2024_09-42.pth for epoch 6 with best va-f1: 0.46638655462184875

Validating: 100%|████████████████████████████████████████████████████| 25/25 [00:02<00:00, 11.46it/s]
[I 2024-11-27 09:47:06,208] Trial 7 finished with value: 0.18944099378881987 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 128, 'apdrop_p': 0.37801163776844016, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 50, 'optimizer': 'AdamW', 'weight_decay': 4.822841847056431e-05, 'beta1': 0.9010329747891646, 'beta2': 0.9646962725038237, 'lr': 0.00031581497530595664, 'batch_size': 4, 'sampler': False}. Best is trial 3 with value: 0.22708333333333333.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       4       0       0   
	1       0      61       0       0   
	2       0      33       0       0   
	3       0       2       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_8/ArgumentsPredictor-27-11-2024_09-47.pth for epoch 25 with best va-f1: 0.600739247311828

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:02<00:00,  5.93it/s]
[I 2024-11-27 09:53:51,643] Trial 8 finished with value: 0.27296009529481835 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.4165385368132512, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 1.905907200689553e-05, 'beta1': 0.9437573340780581, 'beta2': 0.9627060064585806, 'lr': 0.0005583054622673207, 'batch_size': 8, 'sampler': True}. Best is trial 8 with value: 0.27296009529481835.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      36      24       0   
	2       0      15      17       0   
	3       0       1       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 11.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.53it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.07it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_9/ArgumentsPredictor-27-11-2024_09-53.pth for epoch 34 with best va-f1: 0.5609004739336493

Validating: 100%|████████████████████████████████████████████████████| 25/25 [00:02<00:00, 12.41it/s]
[I 2024-11-27 10:02:19,433] Trial 9 finished with value: 0.2053842813721233 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.4559269691683573, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 25, 'optimizer': 'Adam', 'weight_decay': 5.358745784702799e-05, 'beta1': 0.9001677829156358, 'beta2': 0.9403841092376114, 'lr': 0.00047737432968649596, 'batch_size': 4, 'sampler': True}. Best is trial 8 with value: 0.27296009529481835.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       1       0   
	1       0      51      10       0   
	2       0      30       3       0   
	3       0       2       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_10/ArgumentsPredictor-27-11-2024_10-02.pth for epoch 40 with best va-f1: 0.596743295019157

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:01<00:00,  6.26it/s]
[I 2024-11-27 10:11:30,027] Trial 10 finished with value: 0.194028566511788 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.3042422946454786, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 25, 'optimizer': 'AdamW', 'weight_decay': 1.0064300471332488e-05, 'beta1': 0.9294367789955392, 'beta2': 0.9542931053863958, 'lr': 0.0005354782698530684, 'batch_size': 8, 'sampler': True}. Best is trial 8 with value: 0.27296009529481835.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      54       6       0   
	2       0      31       1       0   
	3       0       1       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.30it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_11/ArgumentsPredictor-27-11-2024_10-11.pth for epoch 34 with best va-f1: 0.59565649867374

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:02<00:00,  5.84it/s]
[I 2024-11-27 10:19:28,709] Trial 11 finished with value: 0.23392529087568892 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.3383491470790251, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 100, 'optimizer': 'Adam', 'weight_decay': 2.372354585036858e-05, 'beta1': 0.9321958756412163, 'beta2': 0.9323739351872232, 'lr': 0.0005672913896641541, 'batch_size': 8, 'sampler': True}. Best is trial 8 with value: 0.27296009529481835.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      51       9       0   
	2       0      27       5       0   
	3       0       1       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.53it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_12/ArgumentsPredictor-27-11-2024_10-19.pth for epoch 50 with best va-f1: 0.600229095074456

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:01<00:00,  6.52it/s]
[I 2024-11-27 10:29:43,706] Trial 12 finished with value: 0.2263810015487868 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.31911138606632605, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 2.3099687706742288e-05, 'beta1': 0.9326748006310042, 'beta2': 0.9338924900723544, 'lr': 0.0005506429286246424, 'batch_size': 8, 'sampler': True}. Best is trial 8 with value: 0.27296009529481835.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      56       4       0   
	2       0      29       3       0   
	3       0       1       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.40it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.40it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.44it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_13/ArgumentsPredictor-27-11-2024_10-29.pth for epoch 30 with best va-f1: 0.5123618382780686

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:01<00:00,  6.47it/s]
[I 2024-11-27 10:36:54,520] Trial 13 finished with value: 0.24739583333333331 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.3400242021953515, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'Adam', 'weight_decay': 1.3961811814121898e-05, 'beta1': 0.920038957138761, 'beta2': 0.9253639324899149, 'lr': 0.0005575176708347747, 'batch_size': 8, 'sampler': True}. Best is trial 8 with value: 0.27296009529481835.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      42      18       0   
	2       0      22      10       0   
	3       0       1       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.40it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.47it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_14/ArgumentsPredictor-27-11-2024_10-36.pth for epoch 19 with best va-f1: 0.5922897196261683

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:01<00:00,  6.36it/s]
[I 2024-11-27 10:42:39,013] Trial 14 finished with value: 0.25339366515837103 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.38804093695835146, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 1.0963752051828811e-05, 'beta1': 0.9151895384742845, 'beta2': 0.9237843420328785, 'lr': 0.0005129299025741529, 'batch_size': 8, 'sampler': True}. Best is trial 8 with value: 0.27296009529481835.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      48      12       0   
	2       0      24       8       0   
	3       0       1       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.40it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.53it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.40it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.40it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.54it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.33it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_15/ArgumentsPredictor-27-11-2024_10-42.pth for epoch 34 with best va-f1: 0.5937300501595987

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:01<00:00,  6.26it/s]
[I 2024-11-27 10:50:24,009] Trial 15 finished with value: 0.251451800232288 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.39215610767062725, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 1.0461299287672972e-05, 'beta1': 0.9180906880018014, 'beta2': 0.9552152851355339, 'lr': 0.00041918620326072796, 'batch_size': 8, 'sampler': True}. Best is trial 8 with value: 0.27296009529481835.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      56       4       0   
	2       0      27       5       0   
	3       0       1       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.53it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_16/ArgumentsPredictor-27-11-2024_10-50.pth for epoch 26 with best va-f1: 0.6076860841423948

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:01<00:00,  6.34it/s]
[I 2024-11-27 10:57:19,208] Trial 16 finished with value: 0.2390618841150966 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.39535990324084525, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 50, 'optimizer': 'AdamW', 'weight_decay': 1.4957591271126924e-05, 'beta1': 0.9424811941207516, 'beta2': 0.975979535105219, 'lr': 0.0005040184896688874, 'batch_size': 8, 'sampler': True}. Best is trial 8 with value: 0.27296009529481835.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      42      18       0   
	2       0      23       9       0   
	3       0       1       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.54it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.54it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.30it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_17/ArgumentsPredictor-27-11-2024_10-57.pth for epoch 40 with best va-f1: 0.6003853308530428

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:01<00:00,  6.33it/s]
[I 2024-11-27 11:06:14,278] Trial 17 finished with value: 0.23049645390070922 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.4691801290066978, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 25, 'optimizer': 'AdamW', 'weight_decay': 2.821411252647046e-05, 'beta1': 0.9782649325251369, 'beta2': 0.9883828063197775, 'lr': 0.00042206322235381757, 'batch_size': 8, 'sampler': True}. Best is trial 8 with value: 0.27296009529481835.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      50      10       0   
	2       0      27       5       0   
	3       0       1       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.53it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.46it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_18/ArgumentsPredictor-27-11-2024_11-06.pth for epoch 50 with best va-f1: 0.6089393939393939

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:01<00:00,  6.34it/s]
[I 2024-11-27 11:16:34,995] Trial 18 finished with value: 0.23391304347826086 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.4054775850104357, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 0, 'optimizer': 'AdamW', 'weight_decay': 1.8036636724904126e-05, 'beta1': 0.9455089641093467, 'beta2': 0.9630280390376076, 'lr': 0.0006093220241407991, 'batch_size': 8, 'sampler': True}. Best is trial 8 with value: 0.27296009529481835.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      48      12       0   
	2       0      26       6       0   
	3       0       1       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:04<00:00,  6.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.40it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_19/ArgumentsPredictor-27-11-2024_11-16.pth for epoch 27 with best va-f1: 0.5878712871287128

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:01<00:00,  6.40it/s]
[I 2024-11-27 11:23:25,160] Trial 19 finished with value: 0.2679045092838196 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.36763761982958204, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 1.2443614278891323e-05, 'beta1': 0.9097706302532671, 'beta2': 0.9142423139949465, 'lr': 0.0005036952175931363, 'batch_size': 8, 'sampler': True}. Best is trial 8 with value: 0.27296009529481835.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      45      15       0   
	2       0      21      11       0   
	3       0       1       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.53it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.54it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.53it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.53it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_20/ArgumentsPredictor-27-11-2024_11-23.pth for epoch 50 with best va-f1: 0.6041257699857849

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:01<00:00,  6.28it/s]
[I 2024-11-27 11:33:22,682] Trial 20 finished with value: 0.28417060254758836 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.35773187180525146, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 1.3810538961809715e-05, 'beta1': 0.9436907142748082, 'beta2': 0.9798680127243129, 'lr': 0.00035926375670922536, 'batch_size': 8, 'sampler': True}. Best is trial 20 with value: 0.28417060254758836.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      51       9       0   
	2       0      22      10       0   
	3       0       1       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.54it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.40it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_21/ArgumentsPredictor-27-11-2024_11-33.pth for epoch 50 with best va-f1: 0.5885566100198631

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:01<00:00,  6.19it/s]
[I 2024-11-27 11:43:19,273] Trial 21 finished with value: 0.25506756756756754 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.3645564603281731, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 1.285916915690404e-05, 'beta1': 0.9450351303191933, 'beta2': 0.9821579354474562, 'lr': 0.00037738648424830173, 'batch_size': 8, 'sampler': True}. Best is trial 20 with value: 0.28417060254758836.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      57       3       0   
	2       0      27       5       0   
	3       0       1       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.53it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.41it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_22/ArgumentsPredictor-27-11-2024_11-43.pth for epoch 62 with best va-f1: 0.5969255663430421

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:01<00:00,  6.14it/s]
[I 2024-11-27 11:54:53,365] Trial 22 finished with value: 0.22947368421052633 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.35434653841678965, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 1.8531386681919295e-05, 'beta1': 0.9676941425005191, 'beta2': 0.9792108921920395, 'lr': 0.0003566580165421842, 'batch_size': 8, 'sampler': True}. Best is trial 20 with value: 0.28417060254758836.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      57       3       0   
	2       0      29       3       0   
	3       0       1       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.54it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_23/ArgumentsPredictor-27-11-2024_11-54.pth for epoch 27 with best va-f1: 0.5969255663430421

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:01<00:00,  6.31it/s]
[I 2024-11-27 12:01:47,584] Trial 23 finished with value: 0.2556818181818182 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.41229157347905326, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 1.268070001056516e-05, 'beta1': 0.9382781880152101, 'beta2': 0.968043292844619, 'lr': 0.0005886628442237787, 'batch_size': 8, 'sampler': True}. Best is trial 20 with value: 0.28417060254758836.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      54       6       0   
	2       0      26       6       0   
	3       0       1       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:04<00:00,  6.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.39it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_24/ArgumentsPredictor-27-11-2024_12-01.pth for epoch 27 with best va-f1: 0.6052340290955092

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:01<00:00,  6.17it/s]
[I 2024-11-27 12:08:41,023] Trial 24 finished with value: 0.2508116883116883 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.3276993068225553, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 2.9759438107787354e-05, 'beta1': 0.9110076065726981, 'beta2': 0.9155335369573965, 'lr': 0.0005057042995557148, 'batch_size': 8, 'sampler': True}. Best is trial 20 with value: 0.28417060254758836.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      45      15       0   
	2       0      23       9       0   
	3       0       1       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.40it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.40it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_25/ArgumentsPredictor-27-11-2024_12-08.pth for epoch 27 with best va-f1: 0.5770803270803271

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:01<00:00,  6.55it/s]
[I 2024-11-27 12:15:33,764] Trial 25 finished with value: 0.2707957144576863 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.3763682858175311, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 1.742529564318493e-05, 'beta1': 0.9500632005377586, 'beta2': 0.990429634437049, 'lr': 0.0003841087061754239, 'batch_size': 8, 'sampler': True}. Best is trial 20 with value: 0.28417060254758836.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      37      23       0   
	2       0      16      16       0   
	3       0       1       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.47it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_26/ArgumentsPredictor-27-11-2024_12-15.pth for epoch 44 with best va-f1: 0.5775835396039604

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:01<00:00,  6.32it/s]
[I 2024-11-27 12:25:23,740] Trial 26 finished with value: 0.22138188608776846 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.38481290284141684, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 0, 'optimizer': 'AdamW', 'weight_decay': 1.77130094217029e-05, 'beta1': 0.9520887305272148, 'beta2': 0.9901776243779572, 'lr': 0.00038983976381345883, 'batch_size': 8, 'sampler': False}. Best is trial 20 with value: 0.28417060254758836.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      59       1       0   
	2       0      30       2       0   
	3       0       1       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_27/ArgumentsPredictor-27-11-2024_12-25.pth for epoch 29 with best va-f1: 0.5963636363636363

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:01<00:00,  6.58it/s]
[I 2024-11-27 12:32:50,836] Trial 27 finished with value: 0.2473015873015873 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.438397112952521, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 50, 'optimizer': 'AdamW', 'weight_decay': 2.472633108331994e-05, 'beta1': 0.9658806010041614, 'beta2': 0.9900728585600402, 'lr': 0.0003377976599885258, 'batch_size': 8, 'sampler': True}. Best is trial 20 with value: 0.28417060254758836.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      40      20       0   
	2       0      21      11       0   
	3       0       1       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_28/ArgumentsPredictor-27-11-2024_12-32.pth for epoch 29 with best va-f1: 0.5993018419489007

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:01<00:00,  6.37it/s]
[I 2024-11-27 12:40:18,698] Trial 28 finished with value: 0.26127450980392153 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.40713996588335843, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 25, 'optimizer': 'AdamW', 'weight_decay': 1.9913676001234317e-05, 'beta1': 0.9605205352412776, 'beta2': 0.9849483683896058, 'lr': 0.00030250154110678785, 'batch_size': 8, 'sampler': True}. Best is trial 20 with value: 0.28417060254758836.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      38      22       0   
	2       0      18      14       0   
	3       0       1       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.54it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.90it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_29/ArgumentsPredictor-27-11-2024_12-40.pth for epoch 25 with best va-f1: 0.5860493451111788

Validating: 100%|████████████████████████████████████████████████████| 25/25 [00:02<00:00, 12.49it/s]
[I 2024-11-27 12:47:34,567] Trial 29 finished with value: 0.22591069330199764 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.37501406320790404, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 50, 'optimizer': 'AdamW', 'weight_decay': 1.567642000838322e-05, 'beta1': 0.9510252621490919, 'beta2': 0.9722740748150055, 'lr': 0.0004269977514218351, 'batch_size': 4, 'sampler': False}. Best is trial 20 with value: 0.28417060254758836.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       1       0   
	1       0      54       7       0   
	2       0      29       4       0   
	3       0       1       1       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.44it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_30/ArgumentsPredictor-27-11-2024_12-47.pth for epoch 42 with best va-f1: 0.5811855670103092

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:02<00:00,  5.53it/s]
[I 2024-11-27 12:56:32,132] Trial 30 finished with value: 0.25128468653648506 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.35186936153347814, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 2.147045809770093e-05, 'beta1': 0.9389927738055327, 'beta2': 0.9570708592399195, 'lr': 0.0003941023698666057, 'batch_size': 8, 'sampler': True}. Best is trial 20 with value: 0.28417060254758836.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      50      10       0   
	2       0      25       7       0   
	3       0       1       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.40it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.40it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_31/ArgumentsPredictor-27-11-2024_12-56.pth for epoch 59 with best va-f1: 0.5912878787878788

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:01<00:00,  6.20it/s]
[I 2024-11-27 13:07:46,831] Trial 31 finished with value: 0.23259352067299088 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.376489851230263, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 1.2757713079441916e-05, 'beta1': 0.9220283554318669, 'beta2': 0.9484220663677746, 'lr': 0.00044957214084855154, 'batch_size': 8, 'sampler': True}. Best is trial 20 with value: 0.28417060254758836.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      58       2       0   
	2       0      29       3       0   
	3       0       1       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.53it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.40it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_32/ArgumentsPredictor-27-11-2024_13-07.pth for epoch 35 with best va-f1: 0.5922897196261683

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:01<00:00,  6.27it/s]
[I 2024-11-27 13:15:45,794] Trial 32 finished with value: 0.2391891891891892 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.361274450748882, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 1.174350172500448e-05, 'beta1': 0.9776214971430125, 'beta2': 0.9939612181520032, 'lr': 0.0004414700019297657, 'batch_size': 8, 'sampler': True}. Best is trial 20 with value: 0.28417060254758836.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      56       4       0   
	2       0      28       4       0   
	3       0       1       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.40it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_33/ArgumentsPredictor-27-11-2024_13-15.pth for epoch 50 with best va-f1: 0.5951228592702904

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:01<00:00,  6.43it/s]
[I 2024-11-27 13:25:47,892] Trial 33 finished with value: 0.29330143540669856 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.3681500589474546, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 9.554756450210417e-05, 'beta1': 0.9484098487471605, 'beta2': 0.9795545363340308, 'lr': 0.000340288778132506, 'batch_size': 8, 'sampler': True}. Best is trial 33 with value: 0.29330143540669856.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      49      11       0   
	2       0      20      12       0   
	3       0       1       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_34/ArgumentsPredictor-27-11-2024_13-25.pth for epoch 26 with best va-f1: 0.5741222070223437

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:01<00:00,  6.62it/s]
[I 2024-11-27 13:32:45,814] Trial 34 finished with value: 0.18831168831168832 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'apdrop_p': 0.3413903030878841, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 100, 'optimizer': 'Adam', 'weight_decay': 9.854560978295922e-05, 'beta1': 0.9471703170502748, 'beta2': 0.9788798423723732, 'lr': 0.00034283750882492867, 'batch_size': 8, 'sampler': False}. Best is trial 33 with value: 0.29330143540669856.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      58       2       0   
	2       0      32       0       0   
	3       0       1       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.40it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_35/ArgumentsPredictor-27-11-2024_13-32.pth for epoch 50 with best va-f1: 0.5860185389538733

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:01<00:00,  6.26it/s]
[I 2024-11-27 13:42:47,232] Trial 35 finished with value: 0.2679045092838196 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.39936689090003574, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 6.345267775457925e-05, 'beta1': 0.961358133187664, 'beta2': 0.9821925327416907, 'lr': 0.0003275398511945989, 'batch_size': 8, 'sampler': True}. Best is trial 33 with value: 0.29330143540669856.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      45      15       0   
	2       0      21      11       0   
	3       0       1       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 13.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.40it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 11.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.40it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.53it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.60it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_36/ArgumentsPredictor-27-11-2024_13-42.pth for epoch 65 with best va-f1: 0.6109302325581396

Validating: 100%|████████████████████████████████████████████████████| 25/25 [00:02<00:00, 12.49it/s]
[I 2024-11-27 13:55:27,056] Trial 36 finished with value: 0.20141160268548805 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'apdrop_p': 0.4778777753143383, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 3.594423813126477e-05, 'beta1': 0.9402512113409921, 'beta2': 0.9679494813936361, 'lr': 0.0003709453407425791, 'batch_size': 4, 'sampler': False}. Best is trial 33 with value: 0.29330143540669856.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       1       0   
	1       0      59       2       0   
	2       0      32       1       0   
	3       0       2       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_37/ArgumentsPredictor-27-11-2024_13-55.pth for epoch 25 with best va-f1: 0.5704599596848086

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:01<00:00,  6.13it/s]
[I 2024-11-27 14:02:22,104] Trial 37 finished with value: 0.25141242937853103 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.41297998181864276, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 0, 'optimizer': 'Adam', 'weight_decay': 9.91608789447411e-05, 'beta1': 0.9542141226923065, 'beta2': 0.9949182396871753, 'lr': 0.0003497505463988334, 'batch_size': 8, 'sampler': True}. Best is trial 33 with value: 0.29330143540669856.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      43      17       0   
	2       0      22      10       0   
	3       0       1       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 13.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.54it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.61it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_38/ArgumentsPredictor-27-11-2024_14-02.pth for epoch 55 with best va-f1: 0.5963636363636363

Validating: 100%|████████████████████████████████████████████████████| 25/25 [00:01<00:00, 12.62it/s]
[I 2024-11-27 14:13:18,360] Trial 38 finished with value: 0.24740608228980324 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 128, 'apdrop_p': 0.4290412404008236, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 2.654450393328582e-05, 'beta1': 0.9363105456187605, 'beta2': 0.9711485201605069, 'lr': 0.00040339289148634793, 'batch_size': 4, 'sampler': True}. Best is trial 33 with value: 0.29330143540669856.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       1       0   
	1       0      42      19       0   
	2       0      22      11       0   
	3       0       1       1       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.53it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_39/ArgumentsPredictor-27-11-2024_14-13.pth for epoch 13 with best va-f1: 0.5711015685996167

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:01<00:00,  6.28it/s]
[I 2024-11-27 14:18:29,439] Trial 39 finished with value: 0.2483159828536436 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.3840656450341574, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 7.05218112677726e-05, 'beta1': 0.9483744352560197, 'beta2': 0.9772015399375031, 'lr': 0.0006761523466833604, 'batch_size': 8, 'sampler': False}. Best is trial 33 with value: 0.29330143540669856.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      52       8       0   
	2       0      26       6       0   
	3       0       1       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.40it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.54it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.53it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.27it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_40/ArgumentsPredictor-27-11-2024_14-18.pth for epoch 30 with best va-f1: 0.5841720343531938

Validating: 100%|████████████████████████████████████████████████████| 25/25 [00:02<00:00, 12.12it/s]
[I 2024-11-27 14:26:19,242] Trial 40 finished with value: 0.2434872167696595 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.3238272457356725, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 25, 'optimizer': 'Adam', 'weight_decay': 3.316236702300268e-05, 'beta1': 0.9242731366211422, 'beta2': 0.9582065830596923, 'lr': 0.0003140717642166665, 'batch_size': 4, 'sampler': True}. Best is trial 33 with value: 0.29330143540669856.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       1       0   
	1       0      43      18       0   
	2       0      23      10       0   
	3       0       1       1       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.54it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.37it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_41/ArgumentsPredictor-27-11-2024_14-26.pth for epoch 27 with best va-f1: 0.5967428482587065

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:02<00:00,  5.58it/s]
[I 2024-11-27 14:33:17,518] Trial 41 finished with value: 0.243809932732217 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.36681797592284554, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 1.6113406532913114e-05, 'beta1': 0.9555377588607832, 'beta2': 0.98632420561819, 'lr': 0.00048353367298468753, 'batch_size': 8, 'sampler': True}. Best is trial 33 with value: 0.29330143540669856.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      48      12       0   
	2       0      25       7       0   
	3       0       1       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_42/ArgumentsPredictor-27-11-2024_14-33.pth for epoch 34 with best va-f1: 0.5912078745412079

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:01<00:00,  6.22it/s]
[I 2024-11-27 14:41:14,235] Trial 42 finished with value: 0.2830357142857143 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.35827270011077206, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 1.3663788529994133e-05, 'beta1': 0.9739918623634563, 'beta2': 0.991580256115487, 'lr': 0.0005252859786908853, 'batch_size': 8, 'sampler': True}. Best is trial 33 with value: 0.29330143540669856.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      53       7       0   
	2       0      23       9       0   
	3       0       1       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_43/ArgumentsPredictor-27-11-2024_14-41.pth for epoch 15 with best va-f1: 0.5197217574518188

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:01<00:00,  6.26it/s]
[I 2024-11-27 14:46:35,550] Trial 43 finished with value: 0.29063392347230155 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.3555606529224276, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 2.095322019494209e-05, 'beta1': 0.9726380329668308, 'beta2': 0.9928222767829293, 'lr': 0.0005296396252778862, 'batch_size': 8, 'sampler': True}. Best is trial 33 with value: 0.29330143540669856.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       2       1       0   
	1       0      32      28       0   
	2       0       9      23       0   
	3       0       0       1       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.50it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_44/ArgumentsPredictor-27-11-2024_14-46.pth for epoch 31 with best va-f1: 0.5205122093331215

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:01<00:00,  6.14it/s]
[I 2024-11-27 14:54:06,683] Trial 44 finished with value: 0.2711746031746032 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.34801483432070546, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 1.4435196477930532e-05, 'beta1': 0.9861287559211243, 'beta2': 0.9981803238067875, 'lr': 0.0005891148512371446, 'batch_size': 8, 'sampler': True}. Best is trial 33 with value: 0.29330143540669856.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      42      18       0   
	2       0      19      13       0   
	3       0       1       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.34it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_45/ArgumentsPredictor-27-11-2024_14-54.pth for epoch 34 with best va-f1: 0.5792982456140351

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:01<00:00,  6.16it/s]
[I 2024-11-27 15:02:02,261] Trial 45 finished with value: 0.2637629746419656 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.3151736530220228, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 2.0950938128860817e-05, 'beta1': 0.9737115489367568, 'beta2': 0.9920238844035887, 'lr': 0.000536922062214479, 'batch_size': 8, 'sampler': True}. Best is trial 33 with value: 0.29330143540669856.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      44      16       0   
	2       0      21      11       0   
	3       0       1       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_46/ArgumentsPredictor-27-11-2024_15-02.pth for epoch 38 with best va-f1: 0.5784072249589491

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:01<00:00,  6.22it/s]
[I 2024-11-27 15:10:51,420] Trial 46 finished with value: 0.2172211350293542 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.3353988951733804, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 50, 'optimizer': 'AdamW', 'weight_decay': 5.080585392856073e-05, 'beta1': 0.9888604678646773, 'beta2': 0.9929598588360435, 'lr': 0.0005322221358995681, 'batch_size': 8, 'sampler': True}. Best is trial 33 with value: 0.29330143540669856.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      53       7       0   
	2       0      29       3       0   
	3       0       1       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.40it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_47/ArgumentsPredictor-27-11-2024_15-10.pth for epoch 18 with best va-f1: 0.5789989446705864

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:01<00:00,  6.44it/s]
[I 2024-11-27 15:16:35,923] Trial 47 finished with value: 0.250844277673546 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.3573695485868765, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'Adam', 'weight_decay': 1.4070021871426995e-05, 'beta1': 0.9820761523538972, 'beta2': 0.991610229443323, 'lr': 0.0006230067802534827, 'batch_size': 8, 'sampler': True}. Best is trial 33 with value: 0.29330143540669856.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      39      21       0   
	2       0      20      12       0   
	3       0       1       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_48/ArgumentsPredictor-27-11-2024_15-16.pth for epoch 22 with best va-f1: 0.5892857142857143

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:01<00:00,  6.33it/s]
[I 2024-11-27 15:23:09,898] Trial 48 finished with value: 0.2390618841150966 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.3475746148101659, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 0, 'optimizer': 'AdamW', 'weight_decay': 4.2663773843774326e-05, 'beta1': 0.9723289089898686, 'beta2': 0.9959145459360645, 'lr': 0.0004810406564965858, 'batch_size': 8, 'sampler': True}. Best is trial 33 with value: 0.29330143540669856.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      42      18       0   
	2       0      23       9       0   
	3       0       1       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 13.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.83it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_49/ArgumentsPredictor-27-11-2024_15-23.pth for epoch 33 with best va-f1: 0.5885922330097088

Validating: 100%|████████████████████████████████████████████████████| 25/25 [00:02<00:00, 11.99it/s]
[I 2024-11-27 15:31:08,845] Trial 49 finished with value: 0.2453416149068323 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'apdrop_p': 0.4535650267028404, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 8.757862598468882e-05, 'beta1': 0.9637893954758612, 'beta2': 0.9869024722092306, 'lr': 0.0005756414082913015, 'batch_size': 4, 'sampler': True}. Best is trial 33 with value: 0.29330143540669856.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       1       0   
	1       0      48      13       0   
	2       0      25       8       0   
	3       0       1       1       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_50/ArgumentsPredictor-27-11-2024_15-31.pth for epoch 57 with best va-f1: 0.5873515024458421

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:01<00:00,  6.16it/s]
[I 2024-11-27 15:42:15,607] Trial 50 finished with value: 0.2707170459424646 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.3355810220106839, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 1.1469688260346032e-05, 'beta1': 0.9588160301666584, 'beta2': 0.9832354361778922, 'lr': 0.0005207361518601257, 'batch_size': 8, 'sampler': True}. Best is trial 33 with value: 0.29330143540669856.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      50      10       0   
	2       0      23       9       0   
	3       0       1       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_51/ArgumentsPredictor-27-11-2024_15-42.pth for epoch 33 with best va-f1: 0.59565649867374

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:01<00:00,  6.22it/s]
[I 2024-11-27 15:50:04,937] Trial 51 finished with value: 0.25198135198135196 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.34666644857312356, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 1.3874319261757862e-05, 'beta1': 0.983660776158713, 'beta2': 0.998159989474246, 'lr': 0.0006022123119053582, 'batch_size': 8, 'sampler': True}. Best is trial 33 with value: 0.29330143540669856.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      53       7       0   
	2       0      26       6       0   
	3       0       1       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_52/ArgumentsPredictor-27-11-2024_15-50.pth for epoch 33 with best va-f1: 0.5929125376992676

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:01<00:00,  6.54it/s]
[I 2024-11-27 15:57:53,863] Trial 52 finished with value: 0.27997737556561086 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.3584372980685121, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 1.5897718130829037e-05, 'beta1': 0.9838525598208105, 'beta2': 0.997152996556706, 'lr': 0.0005524961174097802, 'batch_size': 8, 'sampler': True}. Best is trial 33 with value: 0.29330143540669856.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      50      10       0   
	2       0      22      10       0   
	3       0       1       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_53/ArgumentsPredictor-27-11-2024_15-57.pth for epoch 28 with best va-f1: 0.6092132505175983

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:02<00:00,  5.89it/s]
[I 2024-11-27 16:05:02,662] Trial 53 finished with value: 0.2963541666666667 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.37067152152737814, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 1.636221446547666e-05, 'beta1': 0.9709243548183222, 'beta2': 0.9967967271692241, 'lr': 0.0005644487448830425, 'batch_size': 8, 'sampler': True}. Best is trial 53 with value: 0.2963541666666667.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      46      14       0   
	2       0      18      14       0   
	3       0       1       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_54/ArgumentsPredictor-27-11-2024_16-05.pth for epoch 26 with best va-f1: 0.5875

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:01<00:00,  6.07it/s]
[I 2024-11-27 16:11:54,381] Trial 54 finished with value: 0.24297082228116712 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.3584396126452879, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 1.5959389752587e-05, 'beta1': 0.9728853576506797, 'beta2': 0.9966416491860054, 'lr': 0.0006444714184517836, 'batch_size': 8, 'sampler': True}. Best is trial 53 with value: 0.2963541666666667.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      43      17       0   
	2       0      23       9       0   
	3       0       1       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_55/ArgumentsPredictor-27-11-2024_16-11.pth for epoch 35 with best va-f1: 0.5769537480063796

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:01<00:00,  6.08it/s]
[I 2024-11-27 16:20:00,801] Trial 55 finished with value: 0.2391891891891892 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.37206712377251605, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 1.7223630639965814e-05, 'beta1': 0.9766847504322688, 'beta2': 0.995718234718016, 'lr': 0.0005464546762391625, 'batch_size': 8, 'sampler': True}. Best is trial 53 with value: 0.2963541666666667.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      56       4       0   
	2       0      28       4       0   
	3       0       1       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:07<00:00,  4.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  4.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:07<00:00,  4.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  4.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  4.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.33it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_56/ArgumentsPredictor-27-11-2024_16-20.pth for epoch 24 with best va-f1: 0.5860185389538733

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:01<00:00,  6.09it/s]
[I 2024-11-27 16:27:04,146] Trial 56 finished with value: 0.2473015873015873 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.38161426470290016, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 25, 'optimizer': 'AdamW', 'weight_decay': 5.889172544542311e-05, 'beta1': 0.9699803535292993, 'beta2': 0.9989115789114625, 'lr': 0.0004646401512209888, 'batch_size': 8, 'sampler': True}. Best is trial 53 with value: 0.2963541666666667.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      40      20       0   
	2       0      21      11       0   
	3       0       1       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_57/ArgumentsPredictor-27-11-2024_16-27.pth for epoch 33 with best va-f1: 0.6008893280632411

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:01<00:00,  6.13it/s]
[I 2024-11-27 16:34:56,112] Trial 57 finished with value: 0.2679045092838196 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.36337095080817844, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 2.230726372618361e-05, 'beta1': 0.9806307193760203, 'beta2': 0.9890823343980456, 'lr': 0.0005687901417630608, 'batch_size': 8, 'sampler': True}. Best is trial 53 with value: 0.2963541666666667.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      45      15       0   
	2       0      21      11       0   
	3       0       1       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_58/ArgumentsPredictor-27-11-2024_16-34.pth for epoch 11 with best va-f1: 0.5647193585337915

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:01<00:00,  6.17it/s]
[I 2024-11-27 16:39:53,868] Trial 58 finished with value: 0.24975490196078431 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.39169015678334107, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 1.9496537120883335e-05, 'beta1': 0.9690801697105792, 'beta2': 0.9808743501630232, 'lr': 0.0005204763856408972, 'batch_size': 8, 'sampler': False}. Best is trial 53 with value: 0.2963541666666667.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      37      23       0   
	2       0      19      13       0   
	3       0       1       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.43it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_59/ArgumentsPredictor-27-11-2024_16-39.pth for epoch 38 with best va-f1: 0.5811389071757735

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:01<00:00,  6.14it/s]
[I 2024-11-27 16:48:27,383] Trial 59 finished with value: 0.18906587025053925 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.33244131788628045, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'Adam', 'weight_decay': 1.0570515450612303e-05, 'beta1': 0.9867631534478406, 'beta2': 0.9973977265863299, 'lr': 0.0006269995129111586, 'batch_size': 8, 'sampler': True}. Best is trial 53 with value: 0.2963541666666667.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      52       8       0   
	2       0      31       1       0   
	3       0       1       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_60/ArgumentsPredictor-27-11-2024_16-48.pth for epoch 24 with best va-f1: 0.5976210585585585

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:02<00:00,  5.87it/s]
[I 2024-11-27 16:55:21,471] Trial 60 finished with value: 0.2550287356321839 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.31159722363081377, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 50, 'optimizer': 'AdamW', 'weight_decay': 2.480268649809784e-05, 'beta1': 0.9750052646255494, 'beta2': 0.9942481478909648, 'lr': 0.0004935672062902116, 'batch_size': 8, 'sampler': True}. Best is trial 53 with value: 0.2963541666666667.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      35      25       0   
	2       0      17      15       0   
	3       0       1       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_61/ArgumentsPredictor-27-11-2024_16-55.pth for epoch 27 with best va-f1: 0.5960526315789474

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:02<00:00,  5.90it/s]
[I 2024-11-27 17:02:24,843] Trial 61 finished with value: 0.27547363031234 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.3703216438875161, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 1.9610790961687616e-05, 'beta1': 0.9336240602381278, 'beta2': 0.9642230892831426, 'lr': 0.0005535735889713198, 'batch_size': 8, 'sampler': True}. Best is trial 53 with value: 0.2963541666666667.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      43      17       0   
	2       0      19      13       0   
	3       0       1       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.81it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_62/ArgumentsPredictor-27-11-2024_17-02.pth for epoch 34 with best va-f1: 0.5875925925925926

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:01<00:00,  6.13it/s]
[I 2024-11-27 17:10:26,611] Trial 62 finished with value: 0.20869990224828933 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.368967215068364, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 1.6593433862096273e-05, 'beta1': 0.9346403731805686, 'beta2': 0.9642427226769719, 'lr': 0.0005781673227572555, 'batch_size': 8, 'sampler': True}. Best is trial 53 with value: 0.2963541666666667.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      60       0       0   
	2       0      31       1       0   
	3       0       1       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.40it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_63/ArgumentsPredictor-27-11-2024_17-10.pth for epoch 27 with best va-f1: 0.581310233208269

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:01<00:00,  6.30it/s]
[I 2024-11-27 17:17:30,246] Trial 63 finished with value: 0.25870646766169153 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.3564668964430053, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 1.5183703423131341e-05, 'beta1': 0.9281303153826019, 'beta2': 0.9873301130307465, 'lr': 0.0005554099921730146, 'batch_size': 8, 'sampler': True}. Best is trial 53 with value: 0.2963541666666667.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      47      13       0   
	2       0      23       9       0   
	3       0       1       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_64/ArgumentsPredictor-27-11-2024_17-17.pth for epoch 43 with best va-f1: 0.5944741532976827

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:02<00:00,  5.71it/s]
[I 2024-11-27 17:26:42,775] Trial 64 finished with value: 0.23259352067299088 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.35311569540307153, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 1.9447715045743673e-05, 'beta1': 0.9795269850969364, 'beta2': 0.9916532374028619, 'lr': 0.000540385206147055, 'batch_size': 8, 'sampler': True}. Best is trial 53 with value: 0.2963541666666667.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      58       2       0   
	2       0      29       3       0   
	3       0       1       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_65/ArgumentsPredictor-27-11-2024_17-26.pth for epoch 29 with best va-f1: 0.6142857142857143

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:01<00:00,  6.36it/s]
[I 2024-11-27 17:34:20,269] Trial 65 finished with value: 0.22368227866686244 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.3700394878053464, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 0, 'optimizer': 'AdamW', 'weight_decay': 1.3163200478775405e-05, 'beta1': 0.9312059261423931, 'beta2': 0.9692640414415192, 'lr': 0.0005195891096702553, 'batch_size': 8, 'sampler': True}. Best is trial 53 with value: 0.2963541666666667.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      48      12       0   
	2       0      27       5       0   
	3       0       1       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_66/ArgumentsPredictor-27-11-2024_17-34.pth for epoch 33 with best va-f1: 0.585725677830941

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:02<00:00,  5.63it/s]
[I 2024-11-27 17:42:17,071] Trial 66 finished with value: 0.22927024859663192 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.3455692741945868, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 1.811019939452144e-05, 'beta1': 0.9835848768512617, 'beta2': 0.9928891737579988, 'lr': 0.0005958719060844018, 'batch_size': 8, 'sampler': True}. Best is trial 53 with value: 0.2963541666666667.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      53       7       0   
	2       0      28       4       0   
	3       0       1       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_67/ArgumentsPredictor-27-11-2024_17-42.pth for epoch 64 with best va-f1: 0.5910946810858531

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:02<00:00,  5.74it/s]
[I 2024-11-27 17:54:31,703] Trial 67 finished with value: 0.2408459595959596 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.37847238434855696, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 1.4862982515852662e-05, 'beta1': 0.9663883294386097, 'beta2': 0.9751042719429414, 'lr': 0.0004976316962533782, 'batch_size': 8, 'sampler': True}. Best is trial 53 with value: 0.2963541666666667.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      53       7       0   
	2       0      27       5       0   
	3       0       1       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.34it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_68/ArgumentsPredictor-27-11-2024_17-54.pth for epoch 34 with best va-f1: 0.5877470355731225

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:01<00:00,  6.23it/s]
[I 2024-11-27 18:02:30,525] Trial 68 finished with value: 0.22421695951107717 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.3615652530082142, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 1.1297834441933343e-05, 'beta1': 0.9410090892725114, 'beta2': 0.967432137677399, 'lr': 0.0005626746693420209, 'batch_size': 8, 'sampler': True}. Best is trial 53 with value: 0.2963541666666667.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      60       0       0   
	2       0      30       2       0   
	3       0       1       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00,  9.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.85it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_69/ArgumentsPredictor-27-11-2024_18-02.pth for epoch 43 with best va-f1: 0.59688995215311

Validating: 100%|████████████████████████████████████████████████████| 25/25 [00:02<00:00, 12.32it/s]
[I 2024-11-27 18:12:21,140] Trial 69 finished with value: 0.2159636062861869 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.34177703209931654, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 25, 'optimizer': 'AdamW', 'weight_decay': 1.3723495094372613e-05, 'beta1': 0.9279511448498052, 'beta2': 0.988714358939636, 'lr': 0.0003333708955117363, 'batch_size': 4, 'sampler': True}. Best is trial 53 with value: 0.2963541666666667.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       1       0   
	1       0      59       2       0   
	2       0      31       2       0   
	3       0       1       1       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_70/ArgumentsPredictor-27-11-2024_18-12.pth for epoch 45 with best va-f1: 0.5789518174133559

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:02<00:00,  5.48it/s]
[I 2024-11-27 18:22:06,556] Trial 70 finished with value: 0.2830357142857143 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.3875460740024119, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 1.192855465534733e-05, 'beta1': 0.9636438315434185, 'beta2': 0.9777508956226069, 'lr': 0.00032118385561585145, 'batch_size': 8, 'sampler': False}. Best is trial 53 with value: 0.2963541666666667.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      53       7       0   
	2       0      23       9       0   
	3       0       1       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_71/ArgumentsPredictor-27-11-2024_18-22.pth for epoch 30 with best va-f1: 0.5710526315789474

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:01<00:00,  6.29it/s]
[I 2024-11-27 18:29:44,060] Trial 71 finished with value: 0.2665889665889666 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.3887375684566484, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 1.216704839013924e-05, 'beta1': 0.96384479493654, 'beta2': 0.9788505155924533, 'lr': 0.0003116257404199674, 'batch_size': 8, 'sampler': False}. Best is trial 53 with value: 0.2963541666666667.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      54       6       0   
	2       0      25       7       0   
	3       0       1       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_72/ArgumentsPredictor-27-11-2024_18-29.pth for epoch 45 with best va-f1: 0.5894736842105263

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:01<00:00,  6.05it/s]
[I 2024-11-27 18:39:33,955] Trial 72 finished with value: 0.277097366809553 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.37994529631207874, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 1.3382551285881865e-05, 'beta1': 0.9708030681126235, 'beta2': 0.9811100325861826, 'lr': 0.00032664929720033437, 'batch_size': 8, 'sampler': False}. Best is trial 53 with value: 0.2963541666666667.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      54       6       0   
	2       0      24       8       0   
	3       0       1       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_73/ArgumentsPredictor-27-11-2024_18-39.pth for epoch 25 with best va-f1: 0.567941317941318

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:01<00:00,  6.07it/s]
[I 2024-11-27 18:46:31,226] Trial 73 finished with value: 0.25128468653648506 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.3960261082616813, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 1.0170893072714547e-05, 'beta1': 0.9695049830651983, 'beta2': 0.9803386702456091, 'lr': 0.0003221071753585674, 'batch_size': 8, 'sampler': False}. Best is trial 53 with value: 0.2963541666666667.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      50      10       0   
	2       0      25       7       0   
	3       0       1       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_74/ArgumentsPredictor-27-11-2024_18-46.pth for epoch 45 with best va-f1: 0.5768919008703741

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:01<00:00,  6.05it/s]
[I 2024-11-27 18:56:17,130] Trial 74 finished with value: 0.2556818181818182 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.38178418036779366, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 1.3241969545372292e-05, 'beta1': 0.975979264996615, 'beta2': 0.9795962651594795, 'lr': 0.0003648879272160168, 'batch_size': 8, 'sampler': False}. Best is trial 53 with value: 0.2963541666666667.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      54       6       0   
	2       0      26       6       0   
	3       0       1       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_75/ArgumentsPredictor-27-11-2024_18-56.pth for epoch 63 with best va-f1: 0.5906862745098039

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:01<00:00,  6.12it/s]
[I 2024-11-27 19:08:36,137] Trial 75 finished with value: 0.203828197945845 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.4031547349482768, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 1.2029988109068632e-05, 'beta1': 0.9575643623594672, 'beta2': 0.9772490048471567, 'lr': 0.00035086154307455294, 'batch_size': 8, 'sampler': False}. Best is trial 53 with value: 0.2963541666666667.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      58       2       0   
	2       0      31       1       0   
	3       0       1       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_76/ArgumentsPredictor-27-11-2024_19-08.pth for epoch 51 with best va-f1: 0.5713286713286714

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:01<00:00,  6.13it/s]
[I 2024-11-27 19:19:14,831] Trial 76 finished with value: 0.2185672514619883 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.3628565287514761, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 1.4938331937259822e-05, 'beta1': 0.9636791388393936, 'beta2': 0.9844723118442158, 'lr': 0.0003215073323370155, 'batch_size': 8, 'sampler': False}. Best is trial 53 with value: 0.2963541666666667.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      58       2       0   
	2       0      30       2       0   
	3       0       1       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_77/ArgumentsPredictor-27-11-2024_19-19.pth for epoch 34 with best va-f1: 0.5707350901525658

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:01<00:00,  6.06it/s]
[I 2024-11-27 19:27:49,913] Trial 77 finished with value: 0.21631205673758866 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.37660668703936595, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 50, 'optimizer': 'Adam', 'weight_decay': 1.662133068694516e-05, 'beta1': 0.9789345790264041, 'beta2': 0.9816214400853179, 'lr': 0.00033987751685062684, 'batch_size': 8, 'sampler': False}. Best is trial 53 with value: 0.2963541666666667.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      49      11       0   
	2       0      28       4       0   
	3       0       1       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_78/ArgumentsPredictor-27-11-2024_19-27.pth for epoch 25 with best va-f1: 0.5707879239152508

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:01<00:00,  6.10it/s]
[I 2024-11-27 19:34:48,624] Trial 78 finished with value: 0.2550595238095238 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.35411641346032324, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 1.0923647832806048e-05, 'beta1': 0.9714253115276662, 'beta2': 0.9773583580041574, 'lr': 0.00030858401515087327, 'batch_size': 8, 'sampler': False}. Best is trial 53 with value: 0.2963541666666667.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      51       9       0   
	2       0      25       7       0   
	3       0       1       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.40it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_79/ArgumentsPredictor-27-11-2024_19-34.pth for epoch 37 with best va-f1: 0.6410063752276868

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:01<00:00,  6.17it/s]
[I 2024-11-27 19:43:51,626] Trial 79 finished with value: 0.22025883524141365 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.3292794710786999, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 0, 'optimizer': 'AdamW', 'weight_decay': 1.2318864707842664e-05, 'beta1': 0.9433876580526567, 'beta2': 0.9740845578061517, 'lr': 0.00033144647581049864, 'batch_size': 8, 'sampler': False}. Best is trial 53 with value: 0.2963541666666667.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      54       6       0   
	2       0      29       3       0   
	3       0       1       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.40it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 11.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.40it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  9.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.40it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.40it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00, 10.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:06<00:00, 10.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 25/25 [00:02<00:00, 11.26it/s]
[I 2024-11-27 19:58:51,279] Trial 80 finished with value: 0.22878411910669974 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.3872663141714698, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 1.532976198303772e-05, 'beta1': 0.9667629424701437, 'beta2': 0.9780683211281889, 'lr': 0.0003041556641614777, 'batch_size': 4, 'sampler': False}. Best is trial 53 with value: 0.2963541666666667.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       4       0       0   
	1       0      59       2       0   
	2       0      30       3       0   
	3       0       1       1       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_81/ArgumentsPredictor-27-11-2024_19-58.pth for epoch 50 with best va-f1: 0.5776315789473684

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:01<00:00,  6.15it/s]
[I 2024-11-27 20:09:11,423] Trial 81 finished with value: 0.26270667483159826 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.3692156398900402, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 1.8681194084853108e-05, 'beta1': 0.9364779224176215, 'beta2': 0.9621260898306995, 'lr': 0.0005336213046358661, 'batch_size': 8, 'sampler': True}. Best is trial 53 with value: 0.2963541666666667.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      53       7       0   
	2       0      25       7       0   
	3       0       1       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_82/ArgumentsPredictor-27-11-2024_20-09.pth for epoch 11 with best va-f1: 0.5616615799559941

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:02<00:00,  5.42it/s]
[I 2024-11-27 20:14:13,283] Trial 82 finished with value: 0.24975490196078431 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.36581196398064836, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 1.7216812960550284e-05, 'beta1': 0.9752270442028299, 'beta2': 0.9839508966910738, 'lr': 0.0005542960624230719, 'batch_size': 8, 'sampler': False}. Best is trial 53 with value: 0.2963541666666667.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      37      23       0   
	2       0      19      13       0   
	3       0       1       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.86it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_83/ArgumentsPredictor-27-11-2024_20-14.pth for epoch 53 with best va-f1: 0.5922120168388825

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:01<00:00,  6.16it/s]
[I 2024-11-27 20:24:58,550] Trial 83 finished with value: 0.2233108108108108 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.4976666155342777, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 2.0814436865686324e-05, 'beta1': 0.9604598321619368, 'beta2': 0.9858066734059941, 'lr': 0.0003186187859164884, 'batch_size': 8, 'sampler': True}. Best is trial 53 with value: 0.2963541666666667.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      55       5       0   
	2       0      29       3       0   
	3       0       1       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_84/ArgumentsPredictor-27-11-2024_20-24.pth for epoch 43 with best va-f1: 0.5742411225658648

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:01<00:00,  6.21it/s]
[I 2024-11-27 20:34:19,617] Trial 84 finished with value: 0.2676519943203821 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.3710457402198834, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 1.3373074234638653e-05, 'beta1': 0.9711547252443828, 'beta2': 0.9762257962736214, 'lr': 0.00034860859643486936, 'batch_size': 8, 'sampler': True}. Best is trial 53 with value: 0.2963541666666667.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      43      17       0   
	2       0      20      12       0   
	3       0       1       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_85/ArgumentsPredictor-27-11-2024_20-34.pth for epoch 43 with best va-f1: 0.5896790305412265

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:01<00:00,  6.08it/s]
[I 2024-11-27 20:43:39,660] Trial 85 finished with value: 0.24434643143544507 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.3741159093461708, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 1.450057916638016e-05, 'beta1': 0.9526838999042397, 'beta2': 0.9717397103283341, 'lr': 0.00032750117722762375, 'batch_size': 8, 'sampler': True}. Best is trial 53 with value: 0.2963541666666667.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      54       6       0   
	2       0      27       5       0   
	3       0       1       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_86/ArgumentsPredictor-27-11-2024_20-43.pth for epoch 27 with best va-f1: 0.5574866310160428

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:02<00:00,  5.67it/s]
[I 2024-11-27 20:50:57,515] Trial 86 finished with value: 0.2263810015487868 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.3585102151370838, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 1.598864258934879e-05, 'beta1': 0.9493618903755384, 'beta2': 0.9730194157511012, 'lr': 0.0006105231098539347, 'batch_size': 8, 'sampler': False}. Best is trial 53 with value: 0.2963541666666667.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      56       4       0   
	2       0      29       3       0   
	3       0       1       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.51it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_87/ArgumentsPredictor-27-11-2024_20-50.pth for epoch 62 with best va-f1: 0.6071428571428572

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:01<00:00,  6.18it/s]
[I 2024-11-27 21:02:59,312] Trial 87 finished with value: 0.24255721906728617 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.39307958118850844, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 3.2237911216709987e-05, 'beta1': 0.9819604942676857, 'beta2': 0.98959996320239, 'lr': 0.0003672616328248322, 'batch_size': 8, 'sampler': True}. Best is trial 53 with value: 0.2963541666666667.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      57       3       0   
	2       0      28       4       0   
	3       0       1       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.72it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_88/ArgumentsPredictor-27-11-2024_21-02.pth for epoch 27 with best va-f1: 0.5724594992636229

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:02<00:00,  5.85it/s]
[I 2024-11-27 21:10:23,310] Trial 88 finished with value: 0.23489278752436646 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.3510043896138647, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 25, 'optimizer': 'Adam', 'weight_decay': 2.253234861496216e-05, 'beta1': 0.9456101452428106, 'beta2': 0.9604742792313631, 'lr': 0.0005777648588254158, 'batch_size': 8, 'sampler': True}. Best is trial 53 with value: 0.2963541666666667.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      28      28       4   
	2       0      16      16       0   
	3       0       1       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_89/ArgumentsPredictor-27-11-2024_21-10.pth for epoch 33 with best va-f1: 0.5099846390168971

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:01<00:00,  6.01it/s]
[I 2024-11-27 21:18:24,282] Trial 89 finished with value: 0.26688508064516125 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'apdrop_p': 0.3795513578957645, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 2.747970084092698e-05, 'beta1': 0.9849166895083358, 'beta2': 0.9908571373690185, 'lr': 0.0005134460078088618, 'batch_size': 8, 'sampler': True}. Best is trial 53 with value: 0.2963541666666667.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      41      19       0   
	2       0      19      13       0   
	3       0       1       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_90/ArgumentsPredictor-27-11-2024_21-18.pth for epoch 43 with best va-f1: 0.584107545045045

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:02<00:00,  5.67it/s]
[I 2024-11-27 21:27:47,944] Trial 90 finished with value: 0.2811965811965812 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.39811180619101316, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 4.167582874857465e-05, 'beta1': 0.9254624417453821, 'beta2': 0.9511427556418913, 'lr': 0.000357516055293426, 'batch_size': 8, 'sampler': True}. Best is trial 53 with value: 0.2963541666666667.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      55       5       0   
	2       0      24       8       0   
	3       0       1       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_91/ArgumentsPredictor-27-11-2024_21-27.pth for epoch 53 with best va-f1: 0.5849930118798043

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:01<00:00,  6.17it/s]
[I 2024-11-27 21:38:35,074] Trial 91 finished with value: 0.2357456140350877 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.3848942331566501, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 7.178143508858701e-05, 'beta1': 0.9320057451586515, 'beta2': 0.950154068938416, 'lr': 0.000357638885484439, 'batch_size': 8, 'sampler': True}. Best is trial 53 with value: 0.2963541666666667.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      59       1       0   
	2       0      29       3       0   
	3       0       1       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_92/ArgumentsPredictor-27-11-2024_21-38.pth for epoch 50 with best va-f1: 0.5828629032258065

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:02<00:00,  5.95it/s]
[I 2024-11-27 21:48:56,412] Trial 92 finished with value: 0.2787298387096774 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.39945072805082366, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 3.5909147710596505e-05, 'beta1': 0.915808346851245, 'beta2': 0.9475562052158812, 'lr': 0.0003765613679561856, 'batch_size': 8, 'sampler': True}. Best is trial 53 with value: 0.2963541666666667.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      42      18       0   
	2       0      18      14       0   
	3       0       1       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_93/ArgumentsPredictor-27-11-2024_21-48.pth for epoch 34 with best va-f1: 0.5992063492063492

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:01<00:00,  6.05it/s]
[I 2024-11-27 21:57:04,551] Trial 93 finished with value: 0.2932692307692308 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.42206836421342686, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 3.5834742818132914e-05, 'beta1': 0.9155299816388022, 'beta2': 0.944041625668985, 'lr': 0.00038280084078465423, 'batch_size': 8, 'sampler': True}. Best is trial 53 with value: 0.2963541666666667.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      51       9       0   
	2       0      21      11       0   
	3       0       1       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.29it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_94/ArgumentsPredictor-27-11-2024_21-57.pth for epoch 25 with best va-f1: 0.5180491551459293

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:02<00:00,  5.97it/s]
[I 2024-11-27 22:03:56,154] Trial 94 finished with value: 0.27003627003627 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.42709876119365925, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 3.855592102835349e-05, 'beta1': 0.9151249311947591, 'beta2': 0.9429820522772279, 'lr': 0.000381800749821956, 'batch_size': 8, 'sampler': True}. Best is trial 53 with value: 0.2963541666666667.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       2       1       0   
	1       0      34      26       0   
	2       0      14      18       0   
	3       0       1       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_95/ArgumentsPredictor-27-11-2024_22-03.pth for epoch 50 with best va-f1: 0.5845197091465748

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:01<00:00,  6.07it/s]
[I 2024-11-27 22:14:18,093] Trial 95 finished with value: 0.23392529087568892 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.40859774533392357, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 4.19000306331271e-05, 'beta1': 0.9108126777759097, 'beta2': 0.9353765856274971, 'lr': 0.00040557775637467536, 'batch_size': 8, 'sampler': True}. Best is trial 53 with value: 0.2963541666666667.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      51       9       0   
	2       0      27       5       0   
	3       0       1       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.50it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_96/ArgumentsPredictor-27-11-2024_22-14.pth for epoch 40 with best va-f1: 0.606439393939394

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:02<00:00,  5.79it/s]
[I 2024-11-27 22:23:41,577] Trial 96 finished with value: 0.21631205673758866 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.399046211538329, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 50, 'optimizer': 'AdamW', 'weight_decay': 3.411381506466794e-05, 'beta1': 0.9061852876638251, 'beta2': 0.9477031130443231, 'lr': 0.0003701856395015047, 'batch_size': 8, 'sampler': True}. Best is trial 53 with value: 0.2963541666666667.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      49      11       0   
	2       0      28       4       0   
	3       0       1       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 12.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 12.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:05<00:00, 11.40it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:02<00:00, 11.86it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_97/ArgumentsPredictor-27-11-2024_22-23.pth for epoch 22 with best va-f1: 0.5853960396039604

Validating: 100%|████████████████████████████████████████████████████| 25/25 [00:02<00:00, 12.15it/s]
[I 2024-11-27 22:30:16,449] Trial 97 finished with value: 0.25346875346875347 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.420919235155647, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 4.44707872824063e-05, 'beta1': 0.9133990938059525, 'beta2': 0.9506454947573507, 'lr': 0.00037807545015212214, 'batch_size': 4, 'sampler': True}. Best is trial 53 with value: 0.2963541666666667.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       1       0   
	1       0      35      26       0   
	2       0      17      16       0   
	3       0       1       1       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.54it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.54it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  6.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.49it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_98/ArgumentsPredictor-27-11-2024_22-30.pth for epoch 44 with best va-f1: 0.5839261285909713

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:02<00:00,  5.99it/s]
[I 2024-11-27 22:39:52,104] Trial 98 finished with value: 0.2233108108108108 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'apdrop_p': 0.4344379993711944, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 3.110980667320875e-05, 'beta1': 0.9182628279481779, 'beta2': 0.9549042096474439, 'lr': 0.00035427389547205523, 'batch_size': 8, 'sampler': True}. Best is trial 53 with value: 0.2963541666666667.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      55       5       0   
	2       0      29       3       0   
	3       0       1       0       0   

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.40it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  5.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.40it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:05<00:00,  5.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  5.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:06<00:00,  5.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:02<00:00,  6.12it/s]

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments/optuna/27_11_24-te-f1/trial_99/ArgumentsPredictor-27-11-2024_22-39.pth for epoch 59 with best va-f1: 0.6113749434644957

Validating: 100%|████████████████████████████████████████████████████| 12/12 [00:01<00:00,  6.11it/s]
[I 2024-11-27 22:52:06,793] Trial 99 finished with value: 0.26904761904761904 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'apdrop_p': 0.419058574553664, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 0, 'optimizer': 'AdamW', 'weight_decay': 3.678448858010513e-05, 'beta1': 0.9253327257629627, 'beta2': 0.936113989524158, 'lr': 0.0003446691952351617, 'batch_size': 8, 'sampler': True}. Best is trial 53 with value: 0.2963541666666667.

	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      52       8       0   
	2       0      24       8       0   
	3       0       1       0       0   

print(f"Best trial is {study.best_trial.number}:")
print(f"  Value: {study.best_trial.value}")
print("  Params: ")
for key, value in study.best_trial.params.items():
    print(f"    {key}: {value}")

Best trial is 53:
  Value: 0.2963541666666667
  Params: 
    n_ff_layers: 2
    ap_ff_layers0: 256
    apdrop_p: 0.37067152152737814
    c_frozen_layers_percentage: 50
    r_frozen_layers_percentage: 100
    optimizer: AdamW
    weight_decay: 1.636221446547666e-05
    beta1: 0.9709243548183222
    beta2: 0.9967967271692241
    lr: 0.0005644487448830425
    batch_size: 8
    sampler: True